Что означает поза скрещенные ноги. Почему как правило мужчины сидят раздвинув ноги, а женщины сдвинув ноги? Закладывание ноги на ногу с фиксацией ноги руками

Суперкомпьютеры: прошлое, настоящее и будущее

Впервые термин "суперЭВМ" был использован в начале 60-х годов, когда группа специалистов Иллинойского университета (США) под руководством доктора Д. Слотника предложила идею реализации первой в мире параллельной вычислительной системы. Проект, получивший название SOLOMON, базировался на принципе векторной обработки, который был сформулирован еще Дж. фон Нейманом, и концепции матричной параллельной архитектуры, предложенной С. Унгером в начале 50-х годов.

Дело в том, что большинство суперкомпьютеров демонстрирует поражающую воображение производительность благодаря именно этому (векторному) виду параллелизма. Любой программист, разрабатывая программы на привычных языках высокого уровня, наверняка неоднократно сталкивался с так называемыми циклами DO. Но мало кто задумывался, какой потенциал увеличения производительности заключается в этих часто используемых операторах. Известный специалист в области систем программирования Д.Кнут показал, что циклы DO занимают менее 4% кода программ на языке FORTRAN, но требуют более половины счетного времени задачи.

Идея векторной обработки циклов такого рода заключается в том, что в систему команд компьютера вводится векторная операция, которая работает со всеми элементами векторов-операндов. При этом реализуются сразу две возможности ускорения вычислений: во-первых, сокращается число выполняемых процессором команд объектного кода, поскольку отпадает необходимость в пересчете индексов и организации условного перехода и, во-вторых, все операции сложения элементов векторов-операндов могут быть выполнены одновременно в силу параллелизма обработки.

Важно отметить еще одну особенность векторной обработки, связанную с количеством элементарных операций цикла: чем больше параллельных операций входит в векторизуемый цикл, тем ощутимее выигрыш в скорости выполнения вычислений, так как сокращается доля непроизводительных временных затрат на выборку, дешифрацию и запуск на исполнение векторной команды.

Первой суперЭВМ, использующей преимущества векторной обработки, была ILLIAC IV (SIMD архитектура). В начале 60-х годов группа все того же Слотника, объединенная в Центр передовых вычислительных технологий при Иллинойском университете, приступила к практической реализации проекта векторной суперЭВМ с матричной структурой. Изготовление машины взяла на себя фирма Burroughs Corp. Техническая сторона проекта до сих пор поражает своей масштабностью: система должна была состоять из четырех квадрантов, каждый из которых включал в себя 64 процессорных элемента (ПЭ) и 64 модуля памяти, объединенных коммутатором на базе сети типа гиперкуб. Все ПЭ квадранта обрабатывают векторную инструкцию, которую им направляет процессор команд, причем каждый выполняет одну элементарную операцию вектора, данные для которой сохраняются в связанном с этим ПЭ модуле памяти. Таким образом, один квадрант ILLIAC IV способен одновременно обработать 64 элемента вектора, а вся система из четырех квадрантов - 256 элементов. В 1972 г. первая система ILLIAC IV была установлена в исследовательском центре NASA в Эймсе. Результаты ее эксплуатации в этой организации получили неоднозначную оценку. С одной стороны, использование суперкомпьютера позволило решить ряд сложнейших задач аэродинамики, с которыми не могли справиться другие ЭВМ. Даже самая скоростная ЭВМ для научных исследований того времени - Control Data CDC 7600, которую, к слову сказать, проектировал "патриарх суперЭВМ" Сеймур Крей, могла обеспечить производительность не более 5 MFLOPS, тогда как ILLIAC IV демонстрировала среднюю производительность примерно в 20 MFLOPS. С другой стороны, ILLIAC IV так и не была доведена до полной конфигурации из 256 ПЭ; практически разработчики ограничились лишь одним квадрантом. Причинами явились не столько технические сложности в наращивании числа процессорных элементов системы, сколько проблемы, связанные с программированием обмена данными между процессорными элементами через коммутатор модулей памяти. Все попытки решить эту задачу с помощью системного программного обеспечения потерпели неудачу, в результате каждое приложение требовало ручного программирования передач коммутатора, что и породило неудовлетворительные отзывы пользователей.

Если бы разработчикам ILLIAC IV удалось преодолеть проблемы программирования матрицы процессорных элементов, то, вероятно, развитие вычислительной техники пошло бы совершенно другим путем и сегодня доминировали бы компьютеры с матричной архитектурой. Однако ни в 60-х годах, ни позднее удовлетворительное и универсальное решение двух таких принципиальных проблем, как программирование параллельной работы нескольких сотен процессоров и при этом обеспечение минимума затрат счетного времени на обмен данными между ними, так и не было найдено. Потребовалось еще примерно 15 лет усилий различных фирм по реализации суперЭВМ с матричной архитектурой, чтобы поставить окончательный диагноз: компьютеры данного типа не в состоянии удовлетворить широкий круг пользователей и имеют весьма ограниченную область применения, часто в рамках одного или нескольких видов задач.

Впервые термин "суперЭВМ" был использован в начале 60-х годов, когда группа специалистов Иллинойского университета (США) под руководством доктора Д. Слотника предложила идею реализации первой в мире параллельной вычислительной системы. Проект, получивший название SOLOMON, базировался на принципе векторной обработки, который был сформулирован еще Дж. фон Нейманом, и концепции матричной параллельной архитектуры, предложенной С. Унгером в начале 50-х годов.

Дело в том, что большинство суперкомпьютеров демонстрирует поражающую воображение производительность благодаря именно этому (векторному) виду параллелизма. Любой программист, разрабатывая программы на привычных языках высокого уровня, наверняка неоднократно сталкивался с так называемыми циклами DO. Но мало кто задумывался, какой потенциал увеличения производительности заключается в этих часто используемых операторах. Известный специалист в области систем программирования Д.Кнут показал, что циклы DO занимают менее 4% кода программ на языке FORTRAN, но требуют более половины счетного времени задачи.

Идея векторной обработки циклов такого рода заключается в том, что в систему команд компьютера вводится векторная операция, которая работает со всеми элементами векторов-операндов. При этом реализуются сразу две возможности ускорения вычислений: во-первых, сокращается число выполняемых процессором команд объектного кода, поскольку отпадает необходимость в пересчете индексов и организации условного перехода и, во-вторых, все операции сложения элементов векторов-операндов могут быть выполнены одновременно в силу параллелизма обработки.

Важно отметить еще одну особенность векторной обработки, связанную с количеством элементарных операций цикла: чем больше параллельных операций входит в векторизуемый цикл, тем ощутимее выигрыш в скорости выполнения вычислений, так как сокращается доля непроизводительных временных затрат на выборку, дешифрацию и запуск на исполнение векторной команды.

Первой суперЭВМ, использующей преимущества векторной обработки, была ILLIAC IV (SIMD архитектура). В начале 60-х годов группа все того же Слотника, объединенная в Центр передовых вычислительных технологий при Иллинойском университете, приступила к практической реализации проекта векторной суперЭВМ с матричной структурой. Изготовление машины взяла на себя фирма Burroughs Corp. Техническая сторона проекта до сих пор поражает своей масштабностью: система должна была состоять из четырех квадрантов, каждый из которых включал в себя 64 процессорных элемента (ПЭ) и 64 модуля памяти, объединенных коммутатором на базе сети типа гиперкуб. Все ПЭ квадранта обрабатывают векторную инструкцию, которую им направляет процессор команд, причем каждый выполняет одну элементарную операцию вектора, данные для которой сохраняются в связанном с этим ПЭ модуле памяти. Таким образом, один квадрант ILLIAC IV способен одновременно обработать 64 элемента вектора, а вся система из четырех квадрантов - 256 элементов. В 1972 г. первая система ILLIAC IV была установлена в исследовательском центре NASA в Эймсе. Результаты ее эксплуатации в этой организации получили неоднозначную оценку. С одной стороны, использование суперкомпьютера позволило решить ряд сложнейших задач аэродинамики, с которыми не могли справиться другие ЭВМ. Даже самая скоростная ЭВМ для научных исследований того времени - Control Data CDC 7600, которую, к слову сказать, проектировал "патриарх суперЭВМ" Сеймур Крей, могла обеспечить производительность не более 5 MFLOPS, тогда как ILLIAC IV демонстрировала среднюю производительность примерно в 20 MFLOPS. С другой стороны, ILLIAC IV так и не была доведена до полной конфигурации из 256 ПЭ; практически разработчики ограничились лишь одним квадрантом. Причинами явились не столько технические сложности в наращивании числа процессорных элементов системы, сколько проблемы, связанные с программированием обмена данными между процессорными элементами через коммутатор модулей памяти. Все попытки решить эту задачу с помощью системного программного обеспечения потерпели неудачу, в результате каждое приложение требовало ручного программирования передач коммутатора, что и породило неудовлетворительные отзывы пользователей.

Если бы разработчикам ILLIAC IV удалось преодолеть проблемы программирования матрицы процессорных элементов, то, вероятно, развитие вычислительной техники пошло бы совершенно другим путем и сегодня доминировали бы компьютеры с матричной архитектурой. Однако ни в 60-х годах, ни позднее удовлетворительное и универсальное решение двух таких принципиальных проблем, как программирование параллельной работы нескольких сотен процессоров и при этом обеспечение минимума затрат счетного времени на обмен данными между ними, так и не было найдено. Потребовалось еще примерно 15 лет усилий различных фирм по реализации суперЭВМ с матричной архитектурой, чтобы поставить окончательный диагноз: компьютеры данного типа не в состоянии удовлетворить широкий круг пользователей и имеют весьма ограниченную область применения, часто в рамках одного или нескольких видов задач.

По мере освоения средств сверхскоростной обработки данных разрыв между совершенствованием методов векторизации программ, т.е. автоматического преобразования в процессе компиляции последовательных языковых конструкций в векторную форму, и чрезвычайной сложностью программирования коммутации и распределения данных между процессорными элементами привел к достаточно жесткой реакции пользователей в отношении матричных суперЭВМ - широкому кругу программистов требовалась более простая и "прозрачная" архитектура векторной обработки с возможностью использования стандартных языков высокого уровня типа FORTRAN. Решение было найдено в конце 60-х годов, когда фирма Control Data, с которой в то время сотрудничал Крей, представила машину STAR-100, основанную на векторно-конвейерном принципе обработки данных. Отличие векторно-конвейерной технологии от архитектуры матричных ЭВМ заключается в том, что вместо множества процессорных элементов, выполняющих одну и ту же команду над разными элементами вектора, применяется единственный конвейер операций, принцип действия которого полностью соответствует классическому конвейеру автомобильных заводов Форда. Даже такая архаичная по современным понятиям суперЭВМ, как STAR-100, показала предельную производительность на уровне 50 MFLOPS. При этом существенно, что векторно-конвейерные суперЭВМ значительно дешевле своих матричных "родственников". К примеру, разработка и производство ILLIAC IV обошлись в 40 млн. долл. при расходах на эксплуатацию порядка 2 млн. долл. в год, тогда как рыночная стоимость первых суперкомпьютеров фирм CRAY и Control Data находилась в пределах 10 - 15 млн. долл., в зависимости от объема памяти, состава периферийных устройств и других особенностей конфигурации системы.

Второй существенной особенностью векторно-конвейерной архитектуры является то, что конвейер операций имеет всего один вход, по которому поступают операнды, и один выход результата, тогда как в матричных системах существует множество входов по данным в процессорные элементы и множество выходов из них. Другими словами, в компьютерах с конвейерной обработкой данные всех параллельно исполняемых операций выбираются и записываются в единую память, в связи с чем отпадает необходимость в коммутаторе процессорных элементов, ставшем камнем преткновения при проектировании матричных суперЭВМ.

Следующий удар по позициям суперЭВМ с матричной архитектурой нанесли две машины фирмы Control Data Corp. - CYBER-203 и CYBER-205. Пиковая производительность первой составила 100, а второй - уже 400 MFLOPS.

CRAY-1 совершает переворот Векторно-конвейерный суперкомпьютер STAR-100 и машины серии CYBER- 200, образно говоря, явились только "нокдауном" для матричной архитектуры. Нокаутирующий удар был нанесен в 1974 г., когда Крей, к тому времени покинувший корпорацию CDC и основавший собственную фирму Cray Research, объявил о выпуске CRAY-1 - векторно-конвейерной суперЭВМ, ставшей эпохальным событием в мире вычислительной техники. Эта малогабаритная машина (ее высота немного превосходит средний человеческий рост, а занимаемая процессором площадь чуть больше 2,5 кв.м), имела производительность 160 MFLOPS и емкость оперативной памяти 64 Мбайт. После непродолжительной пробной эксплуатации в Лос-Аламосской лаборатории, где новинка получила самые высокие отзывы программистов и математиков, Cray Research наладила серийный выпуск машин CRAY-1, которые активно раскупались в США. Любопытно, что администрация США в должной степени оценила стратегическую ценность CRAY-1 и контролировала поставки этого компьютера даже в дружественные государства. Появление CRAY-1 вызвало интерес не только у пользователей, нуждающихся в средствах сверхскоростной обработки данных, но и у специалистов по архитектуре суперкомпьютеров. Для многих неожиданным (а для разработчиков CYBER-205 даже неприятным) стал тот факт, что с большинством задач маленький компьютер CRAY-1 справлялся быстрее, чем значительно превосходящий его по габаритам и пиковой производительности CYBER-205. Так, при тестировании на пакете решения линейных уравнений LINPACK Джек Донгарра из Национальной лаборатории в Аргонне оценил производительность CRAY-1S в пределах 12 - 23 MFLOPS в зависимости от способа программирования, тогда как CYBER-205 показал производительность лишь 8,4 MFLOPS. Объяснение нашлось, как только вспомнили о законе Амдала (G.Amdahl), который известный архитектор системы IBM/360 сформулировал в 1967 г. в виде следующего постулата: "Производительность вычислительной системы определяется самым медленным ее компонентом". Применительно к векторным суперЭВМ парадокс Амдала преломляется следующим образом. Любая задача, выполняемая в суперЭВМ, состоит из двух взаимосвязанных частей - векторных команд, сгенерированных компилятором при векторизации исходной программы, и скалярных операций, которые компилятор не сумел перевести в векторную форму. Если представить себе суперкомпьютер, который умеет одинаково быстро производить скалярные и векторные операции, то парадокс Амдала "не срабатывает" и такая система с равной скоростью будет выполнять задачи любой степени векторизации. Но само собой, что скалярная обработка занимает больше времени, плюс ко всему CRAY-1 при цикле 12,5 нс обладает большим быстродействием скалярной обработки по сравнению с компьютером CYBER-205, у которого цикл равен 20 нс.

Существует еще одна причина, по которой CRAY-1 превосходит CYBER-205 по скорости решения большинства прикладных задач. Впервые в практике сверхскоростной обработки данных, а возможно, и вообще в вычислительной технике CRAY-1 был разработан как компьютер с полностью законченной архитектурой "регистр-регистр". Все операции обработки данных, которые выполняет центральный процессор этой машины, выбирают операнды и записывают результаты вычислений, используя не оперативную память, как это было сделано в CYBER-205 и более ранних суперкомпьютерах, а специально предназначенные для этой цели программно-адресуемые регистры. Для реализации этой архитектуры в CRAY-1 было введено принципиальное новшество - векторные регистры, которые адресовались командами центрального процессора подобно обычным регистрам данных, но могли запомнить до 64 элементов вектора каждый при 64- разрядном формате отдельных элементов. Естественно, что по сравнению с CYBER-205 каждая отдельная векторная команда в CRAY-1 выполнялась быстрее, поскольку операции типа "регистр-регистр" отличаются от операций типа "память-память" меньшими временными затратами на чтение операндов и запись результата. Однако решающие преимущества CRAY-1 перед суперЭВМ CDC и матричными суперкомпьютерами определяются не столько лучшей сбалансированностью показателей производительности, сколько простотой и удобством эксплуатации, а также высоким качеством системного программного обеспечения. При разработке своей первой суперЭВМ Крей принял во внимание то важное обстоятельство, что большинство существующих пакетов прикладных программ написано на языках последовательного типа, чаще всего на языке FORTRAN. Поэтому в состав программного обеспечения CRAY-1 был включен интеллектуальный FORTRAN-компилятор CFT, способный обнаруживать параллелизм в программах последовательного действия и преобразовывать их в векторизованный код. Естественно, что при таком подходе все имеющееся у пользователя программное обеспечение с незначительными доработками может быть перенесено на суперЭВМ.

Кроме векторизации циклических конструкций, в компиляторе CFT суперкомпьютера CRAY-1 было введено еще одно принципиальное новшество - автоматический поиск в исходной программе и построение многоконвейерных цепочек. Суть его заключается в следующем: если в программе встречаются две связанные векторные операции (т.е. результат первой служит операндом второй), то в отличие от случая связанных скалярных операций, когда выполнение второй операции начинается только после завершения предыдущей, обе векторные команды могут обрабатываться практически параллельно, что удваивает производительность системы.

В целом CRAY-1 продемонстрировал то, как надо сочетать простоту и эффективность технических решений в области аппаратного и программного обеспечения суперкомпьютера с простотой и удобством его использования и, в первую очередь программирования в привычной для большинства разработчиков среде "классических" последовательных языков типа FORTRAN.

Спустя некоторое время, специалисты из Fujitsu, Hitachi и Nippon Electric (NEC) в короткие сроки сумели выдать настоящий ответ Крею из шести моделей суперЭВМ, мало уступающих CRAY-1 по основным характеристикам, а кое в чем и превосходящих свой американский прототип.

Дело в том, что в начале 70-х годов Япония включилась в гонку суперкомпьютеров, объявив о начале государственной программы создания ЭВМ сверхвысокой производительности. В качестве основных исполнителей этой программы были выбраны три ведущие компьютерные фирмы Японии. Корпорация NEC образовала совместное предприятие с Honeywell под названием Honeywell-NEC Supercomputers (HNS), а фирма Fujitsu сумела заключить соглашение с Джином Амдалом, который к тому времени ушел из IBM и основал собственную компанию Amdahl Corp. Плодом этого союза стала машина AMDAHL V/6, открывшая эру компьютеров на больших интегральных схемах и заставившая всерьез поволноваться руководство IBM, когда выяснилось, что эксплуатационные характеристики AMDAHL V/6 не оставляют серьезных шансов на победу ни одному из компьютеров IBM того времени. Обладая технологией и опытом разработки ЭВМ на БИС, которых американцы в ту пору не имели, так как CYBER-200 и CRAY-1 были разработаны на микросхемах средней степени интеграции, японские фирмы пошли в наступление на фронте суперкомпьютеров.

В начале 80-х годов свет увидели сразу три семейства суперЭВМ японского производства, причем каждый суперкомпьютер из Страны Восходящего Солнца имел свою архитектурную изюминку. Во-первых, во всех японских суперЭВМ по сравнению с CRAY-1 было увеличено число скалярных и векторных регистров (например, NEC SX располагает 256 скалярными и 256 векторными регистрами против восьми регистров обоих типов в CRAY-1). За счет этого удалось снизить нагрузку на оперативную память системы, а также, что значительно существеннее, получить большие возможности для эффективной векторизации программ. Еще одно интересное новшество ввели разработчики суперЭВМ семейства NEC SX, объединив векторную архитектуру "регистр-регистр" с принципом многоконвейерной обработки, ранее реализованном в суперкомпьютерах STAR-100, CYBER-203 и CYBER-205 фирмы Control Data.

Правда, здесь следует отметить следующее: во-первых, многоконвейерная обработка требует установки дополнительных модулей, что увеличивает стоимость центрального процессора, во-вторых, исполнение одной векторной команды на нескольких параллельных конвейерах приводит к возрастанию доли непроизводительных временных затрат на запуск команды, подготовку операндов и запись результата. Например, если конвейер, выполняющий одну элементарную операцию за пять тактов, заменить на четыре таких же конвейера, то при длине векторов в 100 элементов векторная команда ускоряется всего в 3,69, а не в 4 раза. Эффект "отставания" роста производительности от увеличения числа конвейеров особенно заметен, когда процессор затрачивает значительное время на обмен данными между конвейером и памятью. Это обстоятельство не было должным образом оценено при разработке CYBER-205, и в результате архитектура "память-память" данной модели настолько ухудшила динамические параметры четырех конвейеров ее векторного процессора, что для достижения производительности, близкой к 200 MFLOPS, потребовалась очень высокая степень векторизации программ (порядка 1 тыс. элементов в векторе), т.е. потенциально самая мощная суперЭВМ 70-х годов реально могла эффективно обрабатывать только ограниченный класс задач. Конечно, подобный просчет негативно отразился на рыночной судьбе CYBER-205 и на всей программе суперЭВМ компании Control Data. После CYBER-205 фирма CDC прекратила попытки освоения рынка суперЭВМ.

Использование в суперкомпьютерах NEC SX архитектуры "регистр-регистр" позволило нейтрализовать недостатки многоконвейерной обработки, и модель NEC SX-2 с 16 векторными конвейерами стала первой суперЭВМ, преодолевшей рубеж в миллиард операций с плавающей точкой за секунду - ее пиковая производительность составила 1,3 GFLOPS. Фирма Hitachi пошла по другому пути. В суперкомпьютерах серии S-810 ставка была сделана на параллельное выполнение сразу шести векторных команд. Далее Hitachi, продолжает линию этого семейства моделями S-810/60 и S-810/80; последняя занимает достойное третье место по результатам тестирования производительности на пакете LINPACK, уступая только грандам из CRAY и NEC. Относительную коммерческую стабильность суперкомпьютеров Hitachi можно объяснить тем, что они, как и суперЭВМ фирмы Fujitsu, полностью совместимы с системой IBM/370 по скалярным операциям. Это позволяет применять программы, созданные на IBM VS FORTRAN и в стандарте ANSI X3.9 (FORTRAN 77), а также использовать стандартную операционную среду MVS TSO/SPF и большинство системных расширений IBM, включая управление вводом/выводом для IBM-совместимых дисковых и ленточных накопителей. Другими словами, японские суперЭВМ фирм Hitachi и Fujitsu первыми в мире суперкомпьютеров использовали дружественный интерфейс для пользователей наиболее распространенной в то время вычислительной системы - IBM/370.

Натиск японских производителей был впечатляющим, но тут С. Крей наносит своевременный контрудар - в 1982 г. на рынке появилась первая модель семейства суперкомпьютеров CRAY X-MP, а двумя годами позже в Ливерморской национальной физической лаборатории им. Лоуренса был установлен первый экземпляр суперЭВМ CRAY-2. Машины от Cray Research опередили конкурентов в главном - они ознаменовали зарождение нового поколения ЭВМ сверхвысокой производительности, в которых векторно-конвейерный параллелизм дополнялся мультипроцессорной обработкой. Крей применил в своих компьютерах неординарные решения проблемы увеличения производительности. Сохранив в CRAY-2 и CRAY X-MP архитектуру и структурные наработки CRAY- 1, он сокрушил конкурентов сразу на двух фронтах: достиг рекордно малой длительности машинного цикла (4,1 нс) и расширил параллелизм системы за счет мультипроцессорной обработки. В итоге Cray Research сохранила за собой звание абсолютного чемпиона по производительности: CRAY-2 продемонстрировала пиковую производительность 2 GFLOPS, обогнав NEC SX-2 - самую быструю японскую суперЭВМ - в полтора раза. Для решения проблемы оптимизации машинного цикла Крей пошел дальше японцев, которые уже владели технологией ECL-БИС, позволившей в Fujitsu VP достичь длительности машинного цикла в 7,5 нс. Помимо того что в CRAY-2 были использованы быстродействующие ECL-схемы, конструктивное решение блоков ЦП обеспечивало максимальную плотность монтажа компонентов. Для охлаждения такой уникальной системы, которая выделяла ни много ни мало 195 кВт, была использована технология погружения модулей в карбид фтора - специальный жидкий хладагент производства американской фирмы 3M.

Второе революционное решение, реализованное в суперкомпьютере CRAY- 2, заключалось в том, что объем оперативной памяти был доведен до 2 Гбайт. С.Крею удалось выполнить критерий балансировки производительности и емкости оперативной памяти по Флинну: "Каждому миллиону операций производительности процессора должно соответствовать не менее 1 Мбайт емкости оперативной памяти". Суть проблемы заключается в том, что типичные задачи гидро- и аэродинамики, ядерной физики, геологии, метеорологии и других дисциплин, решаемые с помощью суперЭВМ, требуют обработки значительного объема данных для получения результатов приемлемой точности. Eстественно, при таких объемах вычислений относительно малая емкость оперативной памяти вызывает интенсивный обмен с дисковой памятью, что в полном соответствии с законом Амдала ведет к резкому снижению производительность системы.

Все-таки новый качественный уровень суперкомпьютера CRAY-2 определялся не столько сверхмалой длительностью машинного цикла и сверхбольшой емкостью оперативной памяти, сколько мультипроцессорной архитектурой, заимствованной у другой разработки Cray Research - семейства многопроцессорных суперЭВМ CRAY X-MP. Его три базовые модели - X-MP/1, X-MP/2 и X-MP/4 - предлагали пользователям одно-, двух- или четырехпроцессорную конфигурацию системы с производительностью 410 MFLOPS на процессор. Спектр доступных вариантов расширялся за счет возможности установки памяти разного объема (от 32 до 128 Мбайт на систему). Такой ориентированный на рынок подход к построению суперкомпьютера впоследствии принес фирме Cray Research ощутимый коммерческий эффект. Мультипроцессорная архитектура суперкомпьютеров производства CRAY была разработана с учетом достижений и недостатков многопроцессорных мэйнфреймов, в первую очередь фирмы IBM. В отличие от "классических" операционных систем IBM, которые используют для взаимодействия процессов механизм глобальных переменных и семафоров в общей памяти, мультипроцессорная архитектура CRAY предполагает обмен данными между процессорами через специальные кластерные регистры, кроме того, для обслуживания взаимодействия процессов в архитектуре CRAY предусмотрены аппаратно-реализованные семафорные флажки, которые устанавливаются, сбрасываются и анализируются с помощью специальных команд, что также ускоряет межпроцессорный обмен и в итоге увеличивает системную производительность. В результате этих новшеств коэффициент ускорения двухпроцессорной суперЭВМ CRAY X-MP/2 по отношению к однопроцессорной CRAY X-MP/1 составляет не менее 1,86.

В отличие от семейства CRAY X-MP, модели которого работают под управлением операционной системы COS (Cray Operating System), CRAY-2 комплектовалась новой операционной системой CX-COS, созданной фирмой Cray Research на базе Unix System V.

Во второй половине 80-х годов Control Data, "сошедшая с дистанции" после неудачи с моделью CYBER-205 вновь появляется на рынке сперЭВМ. Строго говоря, за разработку новой восьмипроцессорной суперЭВМ взялась ETA Systems - дочерняя фирма CDC, - однако в этом проекте был задействован практически весь потенциал Control Data. Вначале проект под названием ETA-10, получивший поддержку правительства через контракты и дотации потенциальным пользователям вызвал оживление среди специалистов по сверхскоростной обработке. Ведь новая суперЭВМ должна была достичь производительности в 10 GFLOPS, т.е. в пять раз превзойти CRAY-2 по скорости вычислений. Первый образец ETA-10 с одним процессором производительностью 750 MFLOPS был продемонстрирован в 1988 г., однако дальше дела пошли хуже. Во втором квартале 1989 г. Control Data объявила о свертывании деятельности компании ETA Systems из-за нерентабельности производства.

Не остался в стороне от проблем сверхвысокой производительности и гигант компьютерного мира - фирма IBM. Не желая уступать своих пользователей конкурентам из Cray Research, компания приступила к программе выпуска старших моделей семейства IBM 3090 со средствами векторной обработки (Vector Facility). Самая мощная модель этой серии - IBM 3090/VF-600S оснащена шестью векторными процессорами и оперативной памятью емкостью 512 Мбайт. В дальнейшем эта линия была продолжена такими машинами архитектуры ESA, как IBM ES/9000-700 VF и ES/9000-900 VF, производительность которых в максимальной конфигурации достигла 450 MFLOPS.

Еще одна известная в компьютерном мире фирма - Digital Equipment Corp. - в октябре 1989 г. анонсировала новую серию мэйнфреймов с векторными средствами обработки. Старшая модель VAX 9000/440 оснащена четырьмя векторными процессорами, повышающими производительность ЭВМ до 500 MFLOPS.

Высокая стоимость суперЭВМ и векторных мэйнфреймов оказалась не по карману достаточно широкому кругу заказчиков, потенциально готовых воспользоваться компьютерными технологиями параллельных вычислений. К их числу относятся мелкие и средние научные центры и университеты, а также производственные компании, которые нуждаются в высокопроизводительной, но сравнительно недорогой вычислительной технике.

С другой стороны, такие крупнейшие производители суперЭВМ, как Cray Research, Fujitsu, Hitachi и NEC, явно недооценили потребности "средних" пользователей, сосредоточившись на достижении рекордных показателей производительности и, к сожалению, еще более рекордной стоимости своих изделий. Весьма гибкой оказалась стратегия Control Data, которая после неудачи с CYBER-205 основное внимание уделила выпуску научных компьютеров среднего класса. На конец 1988 г. производство машин типа CYBER-932 вдвое превысило выпуск старших моделей серии CYBER-900 и суперЭВМ с маркой CDC. Основным конкурентом Control Data на рынке малогабаритных параллельных компьютеров, которые получили общее название "мини-суперЭВМ", стала будущий лидер в мире мини-суперкомпьютеров фирма Convex Computer. В своих разработках Convex первой реализовала векторную архитектуру с помощью сверхбольших интегральных схем (СБИС) по технологии КМОП. В результате пользователи получили серию относительно недорогих компьютеров по цене менее 1 млн. долл., обладающих производительностью от 20 до 80 MFLOPS. Спрос на эти машины превзошел все ожидания. Явно рискованные инвестиции в программу Convex обернулись быстрым и солидным доходом от ее реализации. История развития суперкомпьютеров однозначно показывает, что в этой сложнейшей области инвестирование высоких технологий, как правило, дает положительный результат - надо только, чтобы проект был адресован достаточно широкому кругу пользователей и не содержал слишком рискованных технических решений. Convex, которая, получив такое преимущество на старте, стала успешно развиваться. Сначала она выпустила на рынок семейство Convex C-3200, старшая модель которого C-3240 имеет производительность 200 MFLOPS, а затем - семейство Convex C-3800, состоящее из четырех базовых моделей в одно-, двух- , четырех- и восьмипроцессорной конфигурации. Самая мощная машина этой серии Convex C-3880 имеет производительность, достойную "настоящей" суперЭВМ 80-х годов, и при тестировании на пакете LINPACK обогнала по скорости вычислений такие системы, как IBM ES/9000-900 VF, ETA-10P и даже CRAY-1S. Отметим, что Cray Research, выпускает мини-суперЭВМ CRAY Y-EL, также реализованную на технологии КМОП-СБИС. Этот компьютер может поставляться в одно-, двух- или четырехпроцессорной конфигурации и обеспечивает производительность 133 MFLOPS на процессор. Объем оперативной памяти изменяется в зависимости от пожеланий заказчика в диапазоне 256-1024 Мбайт.

Доминирование векторных суперкомпьютеров в государственных программах и устойчивое положение "царя горы", занятое Cray Research, явно не устраивало сторонников MIMD-параллелизма. Первоначально в этот класс были включены многопроцессорные мэйнфреймы, а впоследствии к ним добавились суперЭВМ третьего поколения с мультипроцессорной структурой. И те и другие основаны на сформулированном фон Нейманом принципе управления вычислительным процессом по командам программы, или управления потоком команд (Instruction Flow). Однако примерно с середины 60-х годов математики стали обсуждать проблему разбиения задачи на большое число параллельных процессов, каждый из которых может обрабатываться независимо от других, а управление выполнением всей задачи осуществляется путем передачи данных от одного процесса к другому. Этот принцип, известный как управление потоком данных (Data Flow), в теории выглядит очень многообещающим. Теоретики DataFlow-параллелизма предполагали, что систему можно будет организовать из небольших и потому дешевых однотипных процессоров. Достижение сверхвысокой производительности целиком возлагалось на компилятор, осуществляющий распараллеливание вычислительного процесса, и ОС, координирующую функционирование процессоров. Внешняя простота принципа MIMD-параллелизма вызвала к жизни множество проектов.

Из наиболее известных разработок систем класса MIMD стоит упомянуть IBM RP3 (512 процессоров, 800 MFLOPS), Cedar (256 процессоров, 3,2 GFLOPS; компьютер одноименной фирмы), nCUBE/10 (1024 процессора, 500 MFLOPS) и FPS-T (4096 процессоров, 65 GFLOPS). К сожалению, ни один из этих проектов не завершился полным успехом и ни одна из упомянутых систем не показала объявленной производительности. Дело в том, что, как и в случае с матричными SIMD-суперкомпьютерами, слишком много технических и программных проблем было связано с организацией коммутатора, обеспечивающего обмен данными между процессорами. Кроме того, процессоры, составляющие MIMD- систему, оказались на практике не столь уж маленькими и дешевыми. Как следствие, наращивание их числа приводило к такому увеличению габаритов системы и удлинению межпроцессорных связей, что стало совершенно очевидно: при существовавшем в конце 80-х годов уровне элементной базы реализация MIMD-архитектуры не может привести к появлению систем, способных конкурировать с векторными суперкомпьютерами.

Неординарное решение проблемы коммутационной сети процессоров MIMD- системы предложила мало кому известная фирма Denelcor, которая выполнила разработку многопроцессорной модели HEP-1. Этот суперкомпьютер был задуман как MIMD-система, содержащая от 1 до 16 исполнительных процессорных элементов и до 128 банков памяти данных по 8 Мбайт каждый. Система из 16 процессоров должна была обладать максимальной производительностью 160 MFLOPS при параллельной обработке 1024 процессов (по 64 процесса в каждом из 16 ПЭ). Любопытной архитектурной особенностью HEP-1 было то, что MIMD-обработка множества процессов выполнялась без использования коммутационной сети, которую заменила так называемая "вертушка Флинна".

Напомним, что идея "вертушки Флинна" заключается в организации мультипроцессора как нелинейной системы, состоящей из группы процессоров команд (ПрК), каждый из которых "ведет" свой поток команд, и общего для всех ПрК набора арифметических устройств, циклически подключаемых к каждому из ПрК для выполнения их команд. Нетрудно заметить, что эффект "вертушки Флинна" состоит в сокращении объема, занимаемого арифметическими устройствами в многопроцессорной системе, поскольку на "арифметику" может приходиться до 60% аппаратных ресурсов центрального процессора.

На первый взгляд структура HEP-1 практически не отличается от классической "вертушки Флинна" - такой же циклический запуск команд, принадлежащих разным процессам, и те же общие для множества процессов арифметические устройства. Однако на входе исполнительных устройств переключаются не процессоры команд, а процессы с помощью специального механизма выборки, сохранения и восстановления слов состояния каждого исполняемого процесса. Во-вторых, в HEP-1 применяются конвейерные исполнительные устройства, что позволяет арифметическим устройствам обрабатывать существенно больше операций, чем прототипам мэйнфреймов. Казалось бы, наконец найдено решение, объединяющее достоинства MIMD- архитектуры и конвейерной обработки данных (отсюда название "MIMD-конвейеризация") и к тому же исключающее основной недостаток MIMD-структуры - наличие сетевого коммутатора процессоров. Однако после довольно успешных тестов суперЭВМ HEP-1 и одобрительных отзывов аналитиков запущенный в производство проект следующей подобной машины HEP-2 был закрыт по причине отсутствия заказов. Подобно множеству других проектов создания суперкомпьютеров с MIMD- архитектурой, программа HEP не получила одобрения пользователей из-за недостатков системного ПО. Дело в том, что в отличие от векторных суперкомпьютеров, которые успешно справляются с задачами, представленными на стандартных языках последовательного типа, для эффективного программирования MIMD-систем потребовалось введение в обиход совершенно новых языков параллельного программирования.

Если проектировщикам суперкомпьютеров класса MIMD удастся разрешить проблемы системного ПО, доступных языков параллельного программирования, а также компиляторов для этих языков, то в развитии вычислительной техники надо ожидать весьма крутого и драматического поворота событий.

После коммерческого успеха моделей CRAY X-MP фирма Cray Research выпустила модифицированное семейство суперкомпьютеров CRAY Y-MP, обладающих большим числом процессоров (до восьми) и пониженной длительностью машинного цикла (6 нс). Старшая модель этого семейства CRAY Y-MP/832 имела пиковую производительность 2666 MFLOPS и занимала двенадцатую позицию в рейтинге Дж. Донгарра по результатам тестирования на пакете LINPACK.

Первые же пять позиций принадлежали представителям CRA Y-MP C90, старшая модель которого - 16-процессорная машина CRAY Y-MP C90/16256 - имела оперативную память емкостью 2 Гбайт и могла демонстрировать производительность на уровне 16 GFLOPS. Все 16 процессоров и оперативная память этого компьютера размещались в одной стойке весьма скромных размеров: 2,95x2,57x2,17 м3. Подсистема ввода/вывода CRAY Y-MP C90 имела до 256 каналов с общей пропускной способностью 13,6 Гбайт/с, встроенный кремниевый диск емкостью 16 Гбайт и поддерживала дисковую память общей емкостью до 4 Тбайт. "Суперпараметры" модели CRAY Y-MP C90 эффектно дополняются развитым программным обеспечением, центральным ядром которого являются компиляторы CF77 Fortran, Cray Standard C Compiler, Cray ADA и Pascal.

Примерно в это время Сеймур Крей оставляет основанную им фирму Cray Research и создает новую компанию Cray Computer в целях разработки суперкомпьютеров нового поколения CRAY-3 и CRAY- 4. Причинами этого шага стали два обстоятельства: во-первых, руководство Cray Research не хотело подвергать фирму финансовому и моральному риску в случае неудачи новых проектов, а во-вторых, сам Крей предпочел заниматься пионерскими разработками, оставив для Cray Research задачу закрепления рыночного успеха уже созданных продуктов. В результате, освободившись от бремени проектирования CRAY-3 и CRAY-4, его прежнее детище сосредоточилось на "шлифовке" аппаратного и программного обеспечения семейства CRAY Y-MP, а новое занялось поиском технических решений, позволяющих кардинально повысить производительность векторно-конвейерной обработки. Дело в том, что в конце 80-х годов Крей сумел предугадать ситуацию, которая сложилась в области векторных суперкомпьютеров к середине 90-х: архитектурные и программные возможности увеличения производительности за счет многопроцессорной обработки и совершенствования операционных систем и компиляторов для суперЭВМ этого класса оказались практически исчерпаны, а их традиционная элементная база - ECL и BiCMOS БИС со степенью интеграции порядка 10 тыс. вентилей на кристалл - не позволяет преодолеть порог длительности машинного цикла в 2-3 нс. В основу проекта CRAY-3 была заложена идея перехода на принципиально новую элементную базу - БИС на основе арсенида галлия, которая теоретически позволяет обеспечить субнаносекундную продолжительность машинного цикла. Затея казалась весьма рискованной, тем более что в конце 80-х годов в мире не существовало промышленно освоенной технологии для производства подобной элементной базы. Во всяком случае проект CRAY-3 "затормозился" именно из-за неудовлетворительного состояния технологии разработки и производства GaAs-микросхем, а также сборки из них отдельных модулей. Тем не менее после примерно пяти лет работы над проектом CRAY-3 "вышел в свет" и сразу оказался в тройке рекордсменов производительности, обогнав все конкурирующие суперкомпьютеры по тактовой частоте.

Примерно в середине 90-х годов сумашедший темп развития суперкомпьютеров был потерян. В качестве основных причин следует привести следующие: огромный спад государственной поддержки программы развития суперЭВМ, как результат прекращения ‘холодной войны’, плюс отсутствия рынка сбыта супермашин, что объясняется наличием вполне подходящих мини-суперЭВМ гораздо более дешевых и доступных. Большинство производителей стараются переориентироваться на создании архитектур с массовым параллелизмом (MPP).

1994г. Компания Cray Computer сообщила о выпуске в первой половине следующего года суперкомпьютера Cray-4 в четырех- и восьмипроцессорных конфигурациях. Фирма NEC представила на американском рынке свой суперкомпьютер SX-4, поставки которого начнутся в 1995 г. Выпуск массово-параллельного компьютера NCube 3, продемонстрированного компанией NCube и ориентированного на научный рынок, намечен на II квартал будущего года.

1995г. Пожалуй, самым впечатляющим событием стал крах фирмы Cray Computer. Эти новости мало для кого оказались сюрпризом: не составляло тайны существование многочисленных долгов, накопившихся в результате того, что Cray Computer не смогла продать ни одного компьютера Cray-3 за два года, прошедших со дня представления системы.

Примерно в это же время Cray Research объявила о выпуске новой серии суперкомпьютеров CRAY T90, в которых впервые отсутствуют кабельные соединения. В этих системах, получивших на стадии разработки название Triton, количество процессоров варьировалось от 1 до 32, а максимальная производительность достигала 60 млрд. операций в секунду. По сравнению с 16-процессорными компьютерами CRAY C90, быстродействие которых достигает 16 Гфлопс, новые машины имеют в 3-5 раз лучшее соотношение производительность/стоимость.

В Японии же, Fujitsu представляет два векторных параллельных суперкомпьютера на базе КМОП-технологии: VX и VPP оснащены запатентованными БИС на КМОП-структурах, объемом памяти 8 Гбайт для модели VX и 32 Гбайт - для VPP300. При максимальной конфигурации (16 процессоров) производительность VPP300 составляет 35,2 Гфлопс, а модели VX при четырех процессорах - 8,8 Гфлопс.

Компания Parsytec Computer GmbH продемонстрировала первую систему с массовым параллелизмом GC/Power Plus на базе RISC- процессоров PowerPC 601. Количество процессорных элементов в GC/Power Plus может меняться от 32 до 1024, при этом производительность составляет от 2,5 до 80 GFLOPS

В 1996 г. Cray начинает коммерческий выпуск новой модели масштабируемых суперкомпьютеров CRAY T3E с пиковой производительностью 1,2 TFLOPS. Основная характеристика, на которой акцентировали внимание разработчики, - масштабируемость, не имеющая аналогов в истории суперкомпьютеров. Минимальная конфигурация, содержащая восемь микропроцессоров, допускает увеличение их количества в 256 раз. Увеличение производительности может быть также достигнуто кластеризацией систем.

Тем не менее, проектирование MIMD машин по-прежнему в большей степени являлось искусством, правда следует отметить явное движение в это области. Так, MIMD-суперкомпьютеру Paragon с распределенной памятью, разработанному Intel, удалось выжить и вполне успешно существовать (построен на коммерческих микропроцессорах от Intel) : с быстродействием 140 Гфлопс установлен в лаборатории Sandia и 150 Гфлопс установлен в Oak Ridge National Lab. Еще одним примером может служить система HP Exemplar SPP1600, которая была построена на микропроцессорах RISC PA-7200 и основана на архитектурном принципе MIMD с разделением памяти.

Fujitsu выпусакет семейство суперкомпьютеров VPP700 Series. Их конфигурация может наращиваться от базовой, включающей 8 процессорных блоков, до 256- процессорной с совокупной производительностью в 500 Гфлопс. IBM продолжает развивать свое семейство RS/6000 Scalable Powerparallel (SP). Она строит свой самый мощный параллельный компьютер с 472 процессорами и максимальной производительностью в 200 Гфлопс (превоначально планировалось, что в восьми корпусах разместятся 512 узлов, а общее число процессоров достигнет 4096).

Спустя год, опять анонсировала суперкомпьютер CRAY Т3Е-900 на более быстрых процессорах, чем у предшествующей модели CRAY Т3Е. За счет этого достигнута рекордная производительность 1,8 TFLOPS. Тогда это единственная в мире система, мощность которой превысила триллион FLOPS. Новый суперкомпьютер представляет собой не кластер множества независимых узлов, а единую систему с централизованным управлением и сильносвязанными процессорными элементами. Максимальное число процессоров CRAY T3E-900 достигает 2048.

1997г. может быть отмечен, как появлением корпорации Sun Microsystems на рынке суперкомпьютеров. Предпосылкой для этого служит выпуск нового семейства Ultra-Sparc III, на базе которого Sun планирует выпустить системы. При этом следует отметить, что Sun отдала предпочтение SMP (симметричной многопроцессорной) архитектуре: так, cуперкомпьютер UltraHPC может быть сконфигурирован на базе 64 процессоров Ultrasparc II (250 Mhz) и способен обеспечивать производительность до 32 Gflops; в то время, как большинство производителей суперЭВМ ‘исповедуют’ NUMA (архитектура с неоднородным доступом к памяти).

А как обстоят дела со всем этим в России? Нет большого секрета и в том, что сегодня компьютерная индустрия России находится в коматозном состоянии.. К середине 80-х годов в СССР существовала достаточно стройная государственная программа по суперкомпьютерам, которая, помимо финансирования довольно широкого спектра проектов, включала действия по модернизации производства элементной базы и оснащению заводов необходимым технологическим оборудованием. В случае успеха этой программы в 1989 - 1991 гг. на свет должен был появиться целый ряд вполне современных суперкомпьютеров с производительностью от 100 MFLOPS до 1,2 GFLOPS. Кроме того, советская суперкомпьютерная программа предполагала значительное продвижение в области MIMD-систем. Строго говоря, к этому времени СССР уже обладал компьютерами "Эльбрус-2", параметры которых вполне соответствовали определению "суперЭВМ". Фаворитом суперкомпьютерной программы стал коллектив разработчиков этой машины - Институт точной механики и вычислительной техники им. Лебедева АН СССР (ИТМиВТ), известный такими запоминающимися проектами, как "БЭСМ", "Чегет" и "Эльбрус- 1". Именно в этом институте были заложены два (из четырех) основных проекта государственной программы - "Эльбрус-3" и "Модульный конвейерный процессор" (МКП). Одно направление возглавил проект "Эльбрус-3", основанный на совершенно новой архитектуре широкой команды (Very Long Instruction Word, VLIW). Архитектура этого типа интересна тем, что центральный процессор выбирает из памяти и запускает на исполнение сразу несколько операций, упакованных компилятором в одно командное слово. Пиковая производительность полной конфигурации системы (16 процессоров) ожидалась на уровне 10 GFLOPS, что было бы совсем неплохо. Второе направление развития советских суперЭВМ предполагало достижение более скромных показателей производительности (около 1 GFLOPS на процессор) за счет применения проверенного практикой принципа векторно-конвейерной обработки, но без копирования зарубежных суперкомпьютеров. В ИТМиВТ параллельно с VLIW-системой "Эльбрус-3" стартовал проект МКП под официальным названием "Эльбрус-3Б", который предполагалось завершить созданием системы из 2-20 процессоров, обладающей суммарной пиковой производительностью 2-10 GFLOPS. Направление разработки векторно-конвейерных суперЭВМ оригинальной структуры было выбрано и для суперкомпьютеров Единой системы. Головной институт программы "ЕС ЭВМ" - Научно- исследовательский центр электронной вычислительной техники (НИЦЭВТ) - в 1986 г. анонсировал начало проекта по созданию суперкомпьютера ЕС1191 с производительностью 1,2 GFLOPS. Хотя эта машина по своим характеристикам и уступала "Эльбрусам", но потенциально ее конструктивные особенности могли оказаться весьма привлекательными для пользователей. Во-первых, оригинальное решение системы из четырех скалярных процессоров и одного общего векторного процессора позволило значительно уменьшить занимаемый объем: вся центральная часть машины размещалась в стойке, примерно равной по габаритам распространенному мэйнфрейму ЕС1066. Во-вторых, ЕС1191 реализовывала дружественный интерфейс пользователя ЕС ЭВМ (берущий начало от ОС фирмы IBM) с применением всего разнообразия системных и прикладных програмных продуктов. И наконец, "козырной картой" ЕС1191 была воздушная система охлаждения, которая резко снижала затраты на производство и эксплуатацию машины по сравнению с жидкостным охлаждением "Эльбрусов".

Если в разработке суперкомпьютера ЕС1191 инженеры НИЦЭВТ отошли от практики повторения зарубежных прототипов, то в полном соответствии с принципом "свято место пусто не бывает" идея быстрого достижения результата за счет повторения уже пройденного пути не могла не найти своих сторонников. Коллектив специалистов под руководством академика В. А. Мельникова принялся за разработку суперЭВМ "Электроника СС БИС", которая базировалась на структурных решениях и системе команд машин CRAY. В принципе, это направление хотя и предполагает постоянное отставание от прототипа (кто-кто, а российские пользователи хорошо ощутили разрыв между машинами ЕС ЭВМ и компьютерами IBM современного уровня), но практически "обречено на успех", особенно при детальном копировании оригинала. Во всяком случае Китай получил очень неплохие суперкомпьютеры VH-1 и VH-2 за счет копирования машин CRAY-1 и CRAY X-MP.

Все суперкомпьютерные проекты советского периода использовали однотипную элементную базу - матричные большие интегральные схемы по технологии ECL (эмиттерно-связанная логика) со степенью интеграции 1500 вентилей на кристалл и быстродействием порядка 0,5 нс на вентиль. Конечно, по сравнению с современными достижениями микроэлектронной технологии эти параметры, мягко говоря, не впечатляют, но для середины 80-х годов они были "вполне на уровне" и не отставали от элементной базы японских суперкомпьютеров Fujitsu, NEC или Hitachi.

К сожалению, именно на все это наложились известные события 1991 - 1992 гг., и вместо самой внушительной порции выделенных средств суперкомпьютерные проекты получили анархию в договорных отношениях между институтами и заводами. В результате "Эльбрус-3Б" и "Электроника СС БИС" сегодня существуют в виде опытных образцов, завершение проекта "Эльбрус-3" сильно затянулось, а работы над ЕС1191 заморожены.

Правда говорить о кончине российских суперкомпьютеров пока, по- видимому, преждевременно. Дело гораздо сложнее и значительно драматичнее, чем может показаться. Во-первых, еще существуют два ведущих компьютерных центра России - ИТМиВТ и НИЦЭВТ, которые в принципе способны справиться с задачей создания суперЭВМ, плюс в обоих институтах пока сохранилось небольшое, но вполне дееспособное ядро наиболее квалифицированных специалистов. Когда в 1991 г. стало ясно, что проект ЕС1191 не удастся завершить из-за нехватки средств на изготовление опытных образцов суперкомпьютера, было принято решение о замораживании проекта и развертывании на его основе работ по созданию семейства малогабаритных суперкомпьютеров ЕС119Х.Х, использующих все архитектурные, структурные и даже большую часть схемотехнических решений ЕС1191 (в базовых моделях этого семейства используется 60 - 70% БИС, разработанных для ЕС1191). В итоге всего через год - небольшой коллектив инженеров завершил проектирование первой модели этого семейства - суперскалярной мини-суперЭВМ ЕС1195. В результате этих усилий родилась достаточно быстрая (50 MFLOPS при 256 Мбайт оперативной памяти) и весьма компактная (для ее установки требуется менее одного квадратного метра площади) машина, которая была впервые продемонстрирована на выставке "Информатика-93". Завершена разработка и началось изготовление второй базовой модели семейства ЕС119Х.Х - векторного суперкомпьютера ЕС1191.01, пиковая производительность которого составляет 500 MFLOPS. Наконец, проектируется гибридная система ЕС1191.10, объединяющая достоинства векторно-конвейерной и MPP-обработки. Ее минимальная конфигурация позволит получить производительность на уровне 2 GFLOPS. Все модели семейства ЕС119Х.Х предназначены для работы под Unix или OS/2 и сконструированы в так называемом "офисном исполнении.

Впрочем, разработчики ЕС119Х.Х отчетливо понимают, что у их детища есть "ахиллесова пята" - устаревшая элементная база (ECL-чипы со степенью интеграции 1500 вентилей на кристалл). Поэтому в развитие идей ЕС119Х.Х начались работы по созданию семейства суперкомпьютеров "АМУР" на базе КМОП-микросхем со степенью интеграции 200 тыс. вентилей на кристалл. Эта программа рассчитана на три года и должна завершиться выпуском трех базовых моделей суперкомпьютеров, позволяющих строить масштабируемые вычислительные системы с производительностью от 50 MFLOPS до 20 GFLOPS. Существенной особенностью всех базовых моделей семейства "АМУР" является использование единого комплекта из семи чипов (по сути, микропроцессоров) и размещение процессоров на одной плате, подобной "материнской" плате персонального компьютера. Естественно, что перечисленные особенности суперкомпьютеров "АМУР" означают значительное снижение затрат на производство и эксплуатацию этих машин, т.е. в конечном счете уменьшение их рыночной стоимости.

17.06.1995 Дмитрий Волков, Михаил Кузьминский

Диалектическая спираль развития компьютерных технологий совершила свой очередной виток - опять, как и десять лет назад, в соответстви и с требованиями жизни, в моду входят суперкомпьютерные архитектуры. Безусловно, это уже не те монстры, которые помнят ветераны - новые технологии и требовательный рынок коммерческих применений существенно изменили облик современного суперкомпьютера, Теперь это не огромные шкафы с уникальной аппаратурой, вокруг которой колдуют шаманы от информатики, а вполне эргономичные системы с унифицированным программным обеспечением, совместимые со своими младшими собратьями. В статье дан обзор современного состояния и возможных перспектив развития суперЭВМ. Рассмотрены основные области их применения и проанализированы особенности различных типов архитектур, характерных для современных суперкомпьютеров. Сферы применения суперкомпьютеров Суперкомпьютеры в России Архитектура современных суперЭВМ Векторные суперкомпьютеры Многопроцессорные векторные суперкомпьютеры (MIMD) Многопроцессорные SMP-серверы на базе

Диалектическая спираль развития компьютерных технологий совершила свой очередной виток - опять, как и десять лет назад, в соответстви и с требованиями жизни, в моду входят суперкомпьютерные архитектуры. Безусловно, это уже не те монстры, которые помнят ветераны - новые технологии и требовательный рынок коммерческих применений существенно изменили облик современного суперкомпьютера, Теперь это не огромные шкафы с уникальной аппаратурой, вокруг которой колдуют шаманы от информатики, а вполне эргономичные системы с унифицированным программным обеспечением, совместимые со своими младшими собратьями. В статье дан обзор современного состояния и возможных перспектив развития суперкомпьютеров. Рассмотрены основные области их применения и проанализированы особенности различных типов архитектур, характерных для современных суперкомпьютеров.

Что такое суперЭВМ? Оксфордский толковый словарь по вычислительной технике, изданный почти 10 лет назад, в 1986 году, сообщает, что суперкомпьютер - это очень мощная ЭВМ с производительностью свыше 10 MFLOPS (миллионов операций с плавающей запятой в секунду). Сегодня этот результат перекрывают уже не только рабочие станции, но даже, по крайней мере, по пиковой производительности, и ПК. В начале 90-х годов границу проводили уже около отметки в 300 MFLOPS. В этом году, судя по появившимся в печати сообщениям, специалисты двух ведущих "суперкомпьютерных" стран, - США и Японии, - договорились о подъеме планки до 5 GFLOPS.

Однако такой подход к определению суперЭВМ не совсем корректен. Очевидно, что, современный двухпроцессорный компьютер Cray C90 любой здравомыслящий человек назовет суперЭВМ. А тем не менее, его пиковая производительность меньше 2 GFLOPS. С этим вопросом тесно связаны и ограничения (ранее - КОКОМ, теперь - Госдепартамента США) на поставку высокопроизводительных средств вычислительной техники другим странам. Компьютеры с производительностью свыше 10 000 млн. теоретических операций в сек. (MTOPS), согласно определению Госдепартамента США, считаются суперкомпьютерами .

Более корректно, на наш взгляд, перечислить основные признаки, характеризующие суперЭВМ, среди которых кроме высокой производительности следует отметить:

• самый современный технологический уровень (например, GaAs-технология);
• специфические архитектурные решения, направленные на повышение быстродействия (например, наличие операций над векторами);
• цена, обычно свыше 1-2 млн. долл.

В телеконференции USENET по суперкомпьютерам в связи с быстрым прогрессом в технологии RISC-микропроцессоров и соответствующим ростом их производительности был как-то задан вопрос: когда рабочая станция превратится в суперЭВМ? На что последовал ответ: "Когда она будет стоить свыше 1 млн. долларов". Для иллюстрации можно отметить, что компьютер Cray-1 в свое время стоил около 8 млн. долларов, а анонсированные в этом году суперкомпьютеры Сгау Т90, имеющие намного более высокую производительность, - от 2.5 до 35 млн. долл. Стоимость создания суперкомпьютерной MPP-системы в проекте лаборатории Sandia Министерства энергетики США составляет около 46 млн. долларов.

Вместе с тем, существуют компьютеры, имеющие все перечисленные выше характеристики суперЭВМ, за исключением цены, которая для них составляет от нескольких сотен до 2 млн. долларов. Речь идет о мини-суперЭВМ, обладающим высокой производительностью, уступающей, однако, большим суперЭВМ. При этом у минисуперкомпьютеров, как правило, заметно лучше соотношение цена/производительность и существенно ниже эксплуатационные расходы: система охлаждения, электропитания, требования к площади помещения и др. Данные компьютеры ориентированы на менее крупные вычислительные центры - уровня факультета, а не всего университета или корпорации. Примеры таких ЭВМ - Cray J90, Convex C38XX и, возможно, C4/XA. К ним можно отнести, также и современные суперкомпьютерные системы на базе RISC-микропроцессоров, например, IBM SP2, SGI POWER CHALLENGE, DEC AlphaServer 8200/8400 и др.

С точки зрения архитектуры минисуперкомпьютеры не представляют собой некоторое особенное направление, поэтому в дальнейшем они отдельно не рассматриваются.

Сферы применения суперкомпьютеров

Для каких применений нужна столь дорогостоящая техника? Может показаться, что с ростом производительности настольных ПК и рабочих станций, а также серверов, сама потребность в суперЭВМ будет снижаться. Это не так. С одной стороны, целый ряд приложений может теперь успешно выполняться на рабочих станциях, но с другой стороны, время показало, что устойчивой тенденцией является появление все новых приложений, для которых необходимо использовать суперЭВМ.

Прежде всего следует указать на процесс проникновения суперЭВМ в совершенно недоступную для них ранее коммерческую сферу. Речь идет не только скажем, о графических приложениях для кино и телевидения, где требуется все та же высокая производительность на операциях с плавающей запятой, а прежде всего о задачах, предполагающих интенсивную (в том числе,и оперативную) обработку транзакций для сверхбольших БД. В этот класс задач можно отнести также системы поддержки принятия решений и организация информационных складов. Конечно, можно сказать, что для работы с подобными приложениями в первую очередь необходимы высокая производительность ввода-вывода и быстродействие при выполнении целочисленных операций, а компьютерные системы, наиболее оптимальные для таких приложений, например, MPP-системы Himalaya компании Tandem, SMP-компьютеры SGI CHAL ENGE, AlphaServer 8400 от DEC - это не совсем суперЭВМ. Но следует вспомнить, что такие требования возникают, в частности, со стороны ряда приложений ядерной физики, например, при обработке результатов экспериментов на ускорителях элементарных частиц. А ведь ядерная физика - классическая область применения суперЭВМ со дня их возникновения.

Как бы то ни было, наметилась явная тенденция к сближению понятий "мэйнфрейм", "многопроцессорный сервер" и "суперЭВМ". Нелишне заметить, что это происходит на фоне начавшегося во многих областях массированного перехода к централизации и укрупнению в противоположность процессу разукрупненияи децентрализации.

Традиционной сферой применения суперкомпьютеров всегда были научные исследования: физика плазмы и статистическая механика, физика конденсированных сред, молекулярная и атомная физика, теория элементарных частиц, газовая динамика и теория турбулентности, астрофизика. В химии - различные области вычислительной химии: квантовая химия (включая расчеты электронной структуры для целей конструирования новых материалов, например, катализаторов и сверхпроводников), молекулярная динамика, химическая кинетика, теория поверхностных явлений и химия твердого тела,конструирование лекарств. Естественно, что ряд областей применения находится на стыках соответствующих наук, например, химии и биологии, и перекрывается с техническими приложениями. Так, задачи метеорологии, изучение атмосферных явлений и, в первую очередь, задача долгосрочного прогноза погоды, для решения которой постоянно не хватает мощностей современных суперЭВМ, тесно связаны с решением ряда перечисленных выше проблем физики. Среди технических проблем, для решения которых используются суперкомпьютеры, укажем на задачи аэрокосмической и автомобильной промышленности, ядерной энергетики, предсказания и разработки месторождений полезных ископаемых, нефтедобывающей и газовой промышленности (в том числе проблемы эффективной эксплуатации месторождений, особенно трехмерные задачи их исследования), и, наконец, конструирование новых микропроцессоров и компьютеров, в первую очередь самих суперЭВМ.

Суперкомпьютеры традиционно применяются для военных целей. Кроме очевидных задач разработки оружия массового уничтожения и конструирования самолетов и ракет, можно упомянуть, например, конструирование бесшумных подводных лодок и др. Самый знаменитый пример - это американская программа СОИ. Уже упоминавшийся MPP-компьютер Министерства энергетики США будет применяться для моделирования ядерного оружия, что позволит вообще отменить ядерные испытания в этой стране.

Анализируя потенциальные потребности в суперЭВМ существующих сегодня приложений, можно условно разбить их на два класса. К первому можно отнести приложения, в которых известно, какой уровень производительности надо достигнуть в каждом конкретном случае, например, долгосрочный прогноз погоды. Ко второму можно отнести задачи, для которых характерен быстрый рост вычислительных затрат с увеличением размера исследуемого объекта. Например, в квантовой химии неэмпирические расчеты электронной структуры молекул требуют затрат вычислительных ресурсов, пропорциональных N^4 или И^5, где N условно характеризует размер молекулы. Сейчас многие молекулярные системы вынужденно исследуются в упрощенном модельном представлении. Имея в резерве еще более крупные молекулярные образования (биологические системы, кластеры и т.д.), квантовая химия дает пример приложения, являющегося "потенциально бесконечным" пользователем суперкомпьютерных ресурсов.

Есть еще одна проблема применения суперЭВМ, о которой необходимо сказать - это визуализация данных, полученных в результате выполнения расчетов. Часто, например, при решении дифференциальных уравнений методом сеток, приходится сталкиваться с гигантскими объемами результатов, которые в числовой форме человек просто не в состоянии обработать. Здесь во многих случаях необходимо обратиться к графической форме представления информации. В любом случае возникает задача транспортировки информации по компьютерной сети. Решению этого комплекса проблем в последнее время уделяется все большее внимание. В частности, знаменитый Национальный центр суперкомпьютерных приложений США (NCSA) совместно с компанией Silicon Graphics ведет работы по программе "суперкомпьютерного окружения будущего". В этом проекте предполагается интегрировать возможности суперкомпьютеров POWER CHALLENGE и средств визуализации компании SGI со средствами информационной супермагистрали.

Суперкомпьютеры в России

СуперЭВМ являются национальным достоянием, и их разработка и производство несомненно должны быть одним из приоритетов государственной технической политики стран, являющихся мировыми лидерами в области науки и техники. Блестящим примером глубокого понимания всего комплекса соответствующих проблем является статья известного нобелевского лауреата в области физики К. Вильсона . Опубликованная свыше десять лет назад, она и сейчас представляет интерес для российского читателя.

Практически единственными странами, разрабатывающими и производящими суперЭВМ в больших масштабах, являются США и Япония. Свои суперкомпьютеры были созданы в Индии и Китае. Большинство развитых стран, в том числе и ряд государств Восточной Европы, предпочитают использовать суперкомпьютеры, произведенные в США и Японии.

Положение с разработками суперкомпьютеров в России, очевидно, оставляет сегодня желать лучшего. Работы над отечественными суперЭВМ в последние годы велись сразу в нескольких организациях. Под управлением академика В.А.Мельникова была разработана векторная суперЭВМ "Электроника CC-100" с архитектурой, напоминающей Сгау-1. В ИТМиВТ РАН проводятся работы по созданию суперкомпьютеров "Эльбрус-3". Этот компьютер может иметь до 16 процессоров с тактовой частотой 10 нс. По оценкам разработчиков, на тестах LINPACK при N = 100 быстродействие процессора составит 200 MFL0PS, при N = 1000 - 370 MFLOPS. Другая разработка, выполненная в этом институте, - Модульный Конвейерный Процессор (МКП), в котором используется оригинальная векторная архитектура, однако по быстродействию он, вероятно, должен уступать "Эльбрус-3".

Другим центром работ над отечественными суперкомпьютерами является известный своими работами по ЕС ЭВМ НИЦЭВТ. Там был выполнен ряд интересных разработок - различные модели векторных суперЭВМ ЕС 1191 на ECL-технологии и идут работы над новым суперкомпьютером "АМУР", в котором используется КМОП-технология. Ряд организаций во главе с ИПМ РАН ведут работы по созданию MPP-компьютера МВС-100, в процессорных элементах которого используются микропроцессоры i860XP, а для организации коммуникаций применяются транспьютеры Т805. Хотя в наличии имеются опытные образцы некоторых из вышеупомянутых отечественных компьютеров, ни один из них промышленно не производится.

Положение с оснащенностью российских организаций суперкомпьютерами, пожалуй, еще хуже. Мы ограничимся информацией о состоянии дел и перспективах на будущее в исследовательских институтах и вузах, которые, как было сказано выше, являются одними из основных потенциальных пользователей суперЭВМ.

В большинстве инсталляций суперкомпьютеров используется вероятно, продукция фирмы Convex. В нескольких организациях эксплуатируются старые модели минисуперкомпьютеров серий Clxx, С2хх, которые по производительности уже уступают современным рабочим станциям. В Санкт-Петербурге в системе Госкомвуза инсталлирована минисуперЭВМ Convex серии С3800, в Москве в ИПМ РАН недавно установлена суперкомпьютерная система SPP 1000/CD. Имеются планы инсталляции и других суперкомпьютеров (например, SGI POWER CHALLENGE) в ряде институтов РАН.

Между тем отсутствие возможностей применения суперЭВМ сдерживает развитие отечественной науки и делает принципиально невозможным успешное развитие целых направлений научных исследований. Приобретение одногодвух, даже очень мощных, суперкомпьютеров не поможет решить данную проблему. И дело не только в стоимости их приобретения и затрат на поддержание работоспособности (включая электропитание и охлаждение). Существует еще целый ряд причин (например, доставка информации по компьютерной сети), препятствующих эффективному использованию суперЭВМ.

Более целесообразным представляется подход, предложенный российским Фондом фундаментальных исследований. Разработанная "Программа создания комплексных сетей связи и баз данных фундаментальной науки и образования" на 1995-1998 гг. предусматривает организацию целого ряда региональных и предметно-ориентированных суперкомпьютерных центров. В таких центрах могут быть инсталлированы, например, относительно дешевые минисуперкомпьютеры, имеющие лучшее отношение стоимость/производительность. Собственно говоря, достаточно только обратиться к списку ТОР500, чтобы обнаружить явную тенденцию к вытеснению больших (и дорогих) суперЭВМ относительно недорогими суперкомпьютерами, которым уже сейчас под силу решение львиной доли потенциальных задач.

Что касается отечественных суперЭВМ, то без необходимой государственной поддержки проектов по их разработке не приходиться рассчитывать на создание промышленных образцов в ближайшие 1-2 года, и вряд ли такие компьютеры смогут составить основу парка суперЭВМ в создающихся сегодня отечественных суперкомпьютерных центрах.

Архитектура современных суперЭВМ

В этом обзоре не имеет смысла останавливаться на деталях классификации архитектуры суперкомпьютеров , ограничимся только рассмотрением типичных архитектур суперЭВМ, широко распространенных сегодня, и приведем классическую систематику Флинна .

В соответствии с ней, все компьютеры делятся на четыре класса в зависимости от числа потоков команд и данных. К первому классу (последовательные компьютеры фон Неймана) принадлежат обычные скалярные однопроцессорные системы: одиночный поток команд - одиночный поток данных (SISD). Персональный компьютер имеет архитектуру SISD, причем не важно, используются ли в ПК конвейеры для ускорения выполнения операций.

Второй класс характеризуется наличием одиночного потока команд, но множественного nomoka данных (SIMD). К этому архитектурному классу принадлежат однопроцессорные векторные или, точнее говоря, векторно-конвейерные суперкомпьютеры, например, Cray-1 . В этом случае мы имеем дело с одним потоком (векторных) команд, а потоков данных - много: каждый элемент вектора входит в отдельный поток данных. К этому же классу вычислительных систем относятся матричные процессоры, например, знаменитый в свое время ILLIAC-IV. Они также имеют векторные команды и реализуют векторную обработку, но не посредством конвейеров, как в векторных суперкомпьютерах, а с помощью матриц процессоров.

К третьему классу - MIMD - относятся системы, имеющие множественный поток команд и множественный поток данных. К нему принадлежат не только многопроцессорные векторные суперЭВМ, но и вообще все многопроцессорные компьютеры. Подавляющее большинство современных суперЭВМ имеют архитектуру MIMD.

Четвертый класс в систематике Флинна, MISD, не представляет практического интереса,по крайней мере для анализируемых нами компьютеров. В последнее время в литературе часто используется также термин SPMD (одна программа - множественные данные). Он относится не к архитектуре компьютеров, а к модели распараллеливания программ и не является расширением систематики Флинна. SPMD обычно относится к MPP (т.е. MIMD) - системам и означает, что несколько копий одной программы параллельно выполняются в разных процессорных узлах с разными данными.

Интересно также упомянуть о принципиально ином направлении в развитии компьютерных архитектур - машинах потоков данных . В середине 80-х годов многие исследователи полагали, что будущее высокопроизводительных ЭВМ связано именно с компьютерами, управляемыми потоками данных, в отличие от всех рассмотренных нами классов вычислительных систем, управляемых потоками команд. В машинах потоков данных могут одновременно выполняться сразу много команд, для которых готовы операнды. Хотя ЭВМ с такой архитектурой сегодня промышленно не выпускаются, некоторые элементы этого подхода нашли свое отражение в современных суперскалярных микропроцессорах, имеющих много параллельно работающих функциональных устройств и буфер команд, ожидающих готовности операндов. В качестве примеров таких микропроцессоров можно привести HP РА-8000 и Intel Pentium Pro .

В соответствии с классификацией Флинна, рассмотрение архитектуры суперЭВМ следовало бы начать с класса SISD. Однако все векторно-конвейерные (в дальнейшем - просто векторные) суперЭВМ имеют архитектуру "не меньше" SIMD. Что касается суперкомпьютерных серверов, использующих современные высокопроизводительные микропроцессоры, таких как SGI POWER CHALLENGE на базе R8000 или DEC AlphaServer 8200/8400 на базе Alpha 21164, то их минимальные конфигурации бывают однопроцессорными. Однако, если не рассматривать собственно архитектуру этих микропроцессоров, то все особенности архитектуры собственно серверов следует анализировать в "естественной" мультипроцессорной конфигурации. Поэтому начнем анализ суперкомпьютерных архитектур сразу с класса SIMD.

Векторные суперкомпьютеры

Среди современных суперЭВМ эту архитектуру имеют однопроцессорные векторные суперкомпьютеры. Практически все они выпускаются также в мультипроцессорных конфигурациях, относящихся к классу MIMD. Однако многие особенности архитектуры векторных суперЭВМ можно понять, рассматривая даже однопроцессорные системы.

Типичная схема однопроцессорного векторного суперкомпьютера представлена на примере FACOM VP-200 японской фирмы Fujitsu . Похожую архитектуру имеют и другие векторные суперкомпьютеры, например, фирм Cray Research и Convex . Общим для всех векторных суперкомпьютеров является наличие в системе команд векторных операций, например, сложение векторов, допускающих работу с векторами определенной длины, допустим, 64 элемента по 8 байт. В таких компьютерах операции с векторами обычно выполняются над векторными регистрами, что, однако, совсем не является обязательным. Наличие регистров маски позволяет выполнять векторные команды не над всеми элементами векторов, а только над теми, на которые указывает маска.

Конечно, в конкретных реализациях векторной архитектуры в различных суперкомпьютерах имеются свои модификации этой общей схемы. Так, например, в вычислительных системах серии VP компании Fujitsu аппаратно реализована поддержка возможности реконфигурации файла векторных регистров - можно, например, увеличить длину векторных регистров с одновременным пропорциональным уменьшением их числа.

Со времен Cray-1 многие векторные суперкомпьютеры, в том числе ЭВМ серии VP от Fujitsu и серии S компании Hitachi, имеют важное средство ускорения векторных вычислений,называемое зацепление команд. Рассмотрим,например, следующую последовательность команд, работающих с векторными V-регистрами в компьютерах Cray:

V2=V0*V1 V4=V2+V3

Ясно, что вторая команда не может начать выполняться сразу вслед за первой - для этого первая команда должна сформировать регистр V2, что требует определенного количества тактов. Средство зацепления позволяет, тем не менее, второй команде начать выполнение, не дожидаясь полного завершения первой: одновременно с появлением первого результата в регистре V2 его копия направляется в функциональное устройство сложения, и запускается вторая команда. Разумеется, детали возможностей зацепления разных векторных команд отличаются у разных ЭВМ.

Что касается скалярной обработки, то соответствующая подсистема команд в японских суперкомпьютерах Fujitsu и Hitachi совместима с IBM/370, что имеет очевидные преимущества. При этом для буферизации скалярных данных используется традиционная кэш-память. Напротив, компания Cray Research, начиная с Сгау-1, отказалась от применения кэш-памяти. Вместо этого в ее компьютерах используются специальные программно-адресуемые буферные В- и Т-регистры. И лишь в последней серии, Cray T90, была введена промежуточная кэш-память для скалярных операций. Отметим, что на тракте оперативная память - векторные регистры промежуточная буферная память отсутствует, что вызывает необходимость иметь высокую пропускную способность подсистемы оперативной памяти: чтобы поддерживать высокую скорость вычислений, необходимо быстро загружать данные в векторные регистры и записывать результаты обратно в память.

До сих пор мы рассматривали векторные ЭВМ, в которых операнды соответствующих команд располагаются в векторных регистрах. Кроме упоминавшихся компьютеров Fujitsu и Hitachi, векторные регистры имеют компьютеры серии SX другой японской фирмы NEC, в том числе наиболее мощные ЭВМ серии SX-4 , а также все векторные компьютеры как от Cray Research, включая C90, М90 и Т90, так и от Cray Computer, включая Cray-3 и Cray-4, и векторные минисуперЭВМ фирмы Convex серий Cl, С2, С3 и C4/XA.

Но некоторые векторные суперЭВМ, например, IBM ES/9000, работают с операндами-векторами, расположенными непосредственно в оперативной памяти. Скорее всего, такой подход является менее перспективным с точки зрения производительности, в частности, потому, что для поддержания высокого темпа вычислений для каждой векторной команды требуется быстрая выборка векторных операндов из памяти и запись результатов обратно.

Многопроцессорные векторные суперкомпьютеры (MIMD)

Все упомянутые векторные суперкомпьютеры выпускаются в многопроцессорных конфигурациях, которые относятся уже к классу MIMD.

В архитектуре многопроцессорных векторных компьютеров можно отметить две важнейшие характеристики: симметричность (равноправность) всех процессоров системы и разделение всеми процессорами общего поля оперативной памяти. Подобные компьютерные системы называются сильно связанными. Если в однопроцессорных векторных ЭВМ для создания эффективной программы ее надо векторизовать, то в многопроцессорных появляется задача распараллеливания программы для ее выполнения одновременно на нескольких процессорах.

Задача распараллеливания является, пожалуй, более сложной,поскольку в ней необходимо организовать синхронизацию параллельно выполняющихся процессов. Практика показала возможности эффективного распараллеливания большого числа алгоритмов для рассматриваемых сильно связанных систем. Соответствующий подход к распараллеливанию на таких компьютерах называется иногда моделью разделяемой общей памяти.

Многопроцессорные SMP-серверы на базе микропроцессоров RISC-архитектуры

Производительность некоторых современных микропроцессоров RISC-архитектуры стала сопоставимой с производительностью процессоров векторных компьютеров. Как следствие этого, появились использующие эти достижения суперЭВМ новой архитектуры, - сильно связанные компьютеры класса MIMD, представляющие собой симметричные многопроцессорные серверы с общим полем оперативной памяти. Этим перспективным системам имеет смысл уделить больше внимания, чем другим компьютерным архитектурам, поскольку соответствующий крут вопросов в отечественной компьютерной литературе обсуждался недостаточно полно.

Наиболее известные суперкомпьютерные серверы, имеющие подобную SMP-архитектуру - DEC AlphaServer 8200/8400 и SGI POWER CHALLENGE . Для них характерно применение высокопроизводительной системной шины, в слоты которой вставляются модули трех типов - процессорные, оперативной памяти и ввода-вывода. Обычные, более медленные шины ввода-вывода, например, PCI или VME64, подсоединяются уже к модулям ввода-вывода. Очевидно, что подобная конструкция обладает высокой степенью модульности и легко позволяет производить наращивание конфигурации, которое ограничивается только доступным числом слотов системной шины и ее производительностью.

В модулях памяти обычно используется технология DRAM, что позволяет достигнуть больших объемов памяти при относительно низкой цене. Однако скорость обмена данными между процессорами и памятью в таких серверах во много раз ниже, чем пропускная способность аналогичного тракта в векторных суперЭВМ, где оперативная память строится на более дорогой технологии ЯВАМ. В этом состоит одно из основных отличий в подходах к суперкомпьютерным вычислениям, применяемым для многопроцессорных векторных ЭВМ и SMP-серверов. В первых обычно имеется относительно небольшое число векторных регистров, поэтому, как уже отмечалось, для поддержания высокой производительности необходимо быстро загружать в них данные или, наоборот, записывать из них информацию в оперативную память. Таким образом, требуется высокая производительность тракта процессор-память.

В SMP-серверах пропускная способность модулей памяти гораздо ниже, а общая скорость обмена данными с процессорными модулями ограничивается также (хотя и высокой) пропускной способностью шины. К тому же системная шина может быть занята передачей данных за счет работы модулей ввода-вывода. Для иллюстрации порядков величин можно привести следующие данные: гарантированная пропускная способность системной шины TurboLaser в AlphaServer 8200/8400 составляет 1.6 Гбайт/с и 1.2 Гбайт/с - для шины POWERpath-2 в POWER CHALLENGE, а пропускная способность оперативной памяти в Сгау Т90 равна 800 Гбайт/с. Поэтому в SMP-серверах разработчики стремятся уменьшить саму потребность в обменах данными на тракте процессорыпамять. С этой целью вместо маленького по величине объема памяти векторных регистров (именно поэтому они требуют достаточно частой перезагрузки) микропроцессоры в суперкомпьютерных SMP-системах снабжаются кэш - памятью очень большого размера, например, по 4 Мбайт на микропроцессор в AlphaServer 8200/8400 и POWER CHAL ENGE. В результате для очень широкого спектра приложений удается достичь поставленной цели.

Современные компьютеры SMP-архитектуры и кластеры на их основе имеют во многом характеристики, сравнимые с большими векторными суперЭВМ, за исключением пропускной способности оперативной памяти; Если добавить к этому низкие эксплуатационные расходы на обслуживание SMP-систем, то становится понятно, почему применение этих гораздо более дешевых (по сравнению с векторными) суперкомпьютеров получило за последние 2 года широкое распространение.

Анализируемые здесь SMP-системы не обязаны иметь шинную архитектуру. Вместо шины может использоваться коммутатор. Подобный подход применяется, например, внутри гиперузлов компьютеров Convex Exemplar SPP . Однако почти все сказанное в данном разделе сохраняет силу и в этом случае.

Кластеры

Кластеры являются самым дешевым способом наращивания производительности уже инсталлированных компьютеров. Фактически кластер представляет собой набор из нескольких ЭВМ, соединенных через некоторую коммуникационную инфраструктуру. В качестве такой структуры может выступать обычная компьютерная сеть, однако из соображений повышения производительности желательно иметь высокоскоростные соединения (FDDI/ATM/HiPPI и т.п.). Кластеры могут быть образованы как из различных компьютеров (гетперогенные кластеры), так и из одинаковых (гомогенные кластеры). Очевидно, что все такие системы относятся к классу MIMD. Кластеры являются классическим примером слабо связанных систем. Различным кластерным системам посвящена статья .

Преимуществом кластерного подхода по сравнению с SMP-серверами является улучшение возможностей масштабирования. В отличие от серверов SMP-архитектуры, где наращивание конфигурации ограничено пропускной способностью шины, добавление компьютеров в кластер позволяет увеличивать пропускную способность оперативной памяти и подсистем ввода-вывода.

В кластерных системах для организации взаимодействия между процессами, выполняющимися на разных компьютерах при решении одной задачи, применяются различные модели обмена сообщениями (PVM, MPI и т.п.). Однако задача распараллеливания в таких системах с распределенной между отдельными компьютерами памятью в рамках этих моделей является гораздо более сложной, чем в модели общего поля памяти, как например, в SMP-серверах. К этому следует добавить чисто аппаратные проблемы наличия задержек при обменах сообщениями и повышения скорости передачи данных. Поэтому спектр задач, которые могут эффективно решаться на кластерных системах, по сравнению с симметричными сильно связанными системами достаточно ограничен. Для параллельной обработки запросов к базам данных в подобных системах также имеются свои собственные подходы (см., например, ).

В кластеры могут объединяться различные суперкомпьютеры, например, минисуперЭВМ Сгау J90 , однако наиболее известными кластерами в мире суперЭВМ являются IBM SP2 и SGI POWER CHAL ENGEarray . Возможность наличия большого числа процессорных узлов в SP2 позволяет одновременно отнести этот компьютер и к классу Mpp-систем.

МРР-системн (MIMD)

Основным признаком, по которому систему относят к архитектуре MPP, является число процессоров (n). Строгой границы не существует, но обычно считается, что при n >= 128 - это уже МРР, а при n

Вовсе не обязательно, чтобы MPP-система имела распределенную оперативную память, при которой каждый процессорный узел имеет свою локальную память. Так, например, компьютеры SPP1000/XA и SPP1200/XA - пример систем с массовым параллелизмом, память которых физически распределена между гиперузлами, но логически является общей для всей ЭВМ. Тем не менее, большинство MPP-компьютеров имеют как логически, так и физически распределенную память.

В любом случае MPP-системы принадлежат к классу MIMD. Если говорить об MPP-компьютерах с распределенной памятью и отвлечься от организации ввода-вывода, то эта архитектура является естественным расширением кластерной на большое число узлов. Поэтому для таких систем характерны все преимущества и недостатки кластеров. Причем в связи с повышенным числом процессорных узлов как плюсы, так и минусы становятся гораздо весомее (процессорный узел это блок ЭВМ, который может содержать несколько процессоров, например, как в компьютерах SNI/Pyramid RM1000, и сам по себе иметь архитектуру SMP).

Благодаря масштабируемости, именно MPP-системы являются сегодня лидерами по достигнутой производительности компьютера; наиболее яркий пример этому - Intel Paragon. С другой стороны, проблемы распараллеливания в MPP-системах по сравнению с кластерами, содержащими немного процессоров, становятся еще более трудно разрешимыми. Кроме того, приращение производительности с ростом числа процессоров обычно вообще довольно быстро убывает. Легко нарастить теоретическую производительность ЭВМ, но гораздо труднее найти задачи, которые сумели бы эффективно загрузить процессорные узлы.

Сегодня не так уж много приложений могут эффективно выполняться на Mpp-компьютере, кроме этого имеется еще проблема переносимости программ между Mpp-системами, имеющими различную архитектуру. Предпринятая в последние годы попытка стандартизации моделей обмена сообщениями еще не снимает всех проблем. Эффективность распараллеливания во многих случаях сильно зависит от деталей архитектуры Mpp-системы, например топологии соединения процессорных узлов.

Самой эффективной была бы топология, в которой любой узел мог бы напрямую связаться с любым другим узлом. Однако в MPP-системах это технически трудно реализуемо. Обычно процессорные узлы в современных MPP-компьютерах образуют или двумерную решетку (например, в SNI/Pyramid RM1000) или гиперкуб (как в суперкомпьютерах nCube ).

Поскольку для синхронизации параллельно выполняющихся в узлах процессов необходим обмен сообщениями, которые должны доходить из любого узла системы в любой другой узел, важной характеристикой является диаметр системы с1 - максимальное расстояние между узлами. В случае двухмерной решетки d ~ sqrt(n), в случае гиперкуба d ~ 1n(n). Таким образом, при увеличении числа узлов архитектура гиперкуба является более выгодной.

Время передачи информации от узла к узлу зависит от стартовой задержки и скорости передачи. В любом случае за время передачи процессорные узлы успевают выполнить много команд, и это соотношение быстродействия процессорных узлов и передающей системы, вероятно, будет сохраняться - прогресс в производительности процессоров гораздо больше, чем в пропускной способности каналов связи. Поэтому инфраструктура каналов связи является одного из главных компонентов Mpp-компьютера.

Несмотря на все сложности, сфера применения MPP-компьютеров понемногу расширяется. Различные MPP-системы эксплуатируются во многих ведущих суперкомпьютерных центрах мира, что наглядно следует из списка ТОР500. Кроме уже упоминавшихся, следует особенно отметить компьютеры Cray T3D и Cray ТЗЕ, которые иллюстрируют тот факт, что мировой лидер производства векторных суперЭВМ, компания Cray Research, уже не ориентируется исключительно на векторные системы. Наконец, нельзя не вспомнить, что новейший суперкомпьютерный проект министерства энергетики США будет основан на MPP-системе на базе Pentium Pro .

Оценки производительности суперЭВМ

Поскольку суперкомпьютеры традиционно использовались для выполнения вычислений над вещественными числами, большинство сегодняшних оценочных характеристик производительности связано именно с этими вычислениями. Прежде всего, к ним относится пиковая производительность, измеряемая в млн. операций с плавающей точкой, которые компьютер теоретически может выполнить за 1 сек (MFLOPS). Пиковая производительность - величина, практически не достижимая. Это связано, в частности, с проблемами заполнения функциональных конвейерных устройств, что является типичным не только для векторных суперЭВМ, но и для компьютеров на базе микропроцессоров RISC-архитектуры. Особенно важно это для суперконвейерной архитектуры микропроцессоров, например, DEC Alpha, для которой характерно применение относительно длинных конвейеров. Понятно, что чем больше конвейер, тем больше надо "инициализационного" времени для того, чтобы его заполнить. Такие конвейеры эффективны при работе с длинными векторами. Поэтому для оценки векторных суперЭВМ было введено такое понятие, как длина полупроизводительности - длина вектора, при которой достигается половина пиковой производительности .

Более реальные оценки производительности базируются на временах выполнения различных тестов. Конечно же, самыми хорошими тестами являются реальные задачи пользователя. Однако такие оценки, во-первых, весьма специфичны, а, во-вторых, часто вообще недоступны или отсутствуют. Поэтому обычно применяются более универсальные тесты, однако традиционные методики оценки производительности микропроцессоров - SPEC- в мире суперкомпьютеров, как правило, не используются. Это связано, в частности, с их малой информативностью - особенно SPEC 92 - для суперкомпьютерных приложений, хотя новый стандарт SPEC 95 дает более реальную картину производительности. Сегодня имеются оценки SPEC только для суперкомпьютеров, использующих микропроцессоры RISC-архитектуры. Недавно был анонсирован специальный новый стандарт SPEChpc96 для высокопроизводительных вычислений .

Поскольку большую часть времени выполнения программ обычно занимают циклы, иногда именно они применяются в качестве тестов, например, известные ливерморские циклы. Наиболее популярным тестом производительности на сегодня следует признать Linpack, который представляет собой решение системы И линейных уравнений методом Гаусса. Поскольку известно, сколько операций с вещественными числами нужно проделать для решения системы, зная время расчета, можно вычислить выполняемое в секунду количество операций. Имеется несколько модификаций этих тестов. Обычно фирмы-производители компьютеров приводят результаты при N 100. Свободно распространяется стандартная программа на Фортране, которую надо выполнить на суперкомпьютере, чтобы получить результат тестирования. Эта программа не может быть изменена, за исключением замены вызовов подпрограмм, дающих доступ к процессорному времени выполнения. Другой стандартный тест относится к случаю N = 1000, предполагающему использование длинных векторов. Эти тесты могут выполняться на компьютерах при разном числе процессоров, давая также оценки качества распараллеливания.

Для MPP-систем более интересным является тест Linpack-parallel, в котором производительность измеряется при больших И и числе процессоров. Здесь лидером является 6768-процессорный Intel Paragon (281 GFLOPS при N = 128600). Что касается производительности процессоров, то при N = 100 лидирует Cray T916 (522 MFLOPS), при N = 1000 и по пиковой производительности - Hitachi S3800 (соответственно 6431 и 8000 MFLOPS). Для сравнения, процессор в AlphaServer 8400 имеет 140 MFLOPS при N =100 и 411 MFLOPS при N=1000.

Для высокопараллельных суперкомпьютеров в последнее время все больше используются тесты NAS parallel benchmark , которые особенно хороши для задач вычислительной газо- и гидродинамики. Их недостатком является фиксация алгоритма решения, а не текста программы. Дополнительную информацию о различных тестах можно найти в .

***

Сегодня в суперкомпьютерном мире наблюдается новая волна, вызванная как успехами в области микропроцессорных технологий, так и появлением нового круга задач, выходящих за рамки традиционных научно-исследовательских лабораторий. Налицо быстрый прогресс в производительности микропроцессоров RISC-архитектуры, которая растет заметно быстрее, чем производительность векторных процессоров. Например, микропроцессор HP РА-8000 отстает от Cray T90 всего примерно в два раза. В результате в ближайшее время вероятно дальнейшее вытеснение векторных суперЭВМ компьютерами, использующими RISC-микропроцессоры, такими, как, например, IBM SP2, Convex/HP SPP, DEC AlphaServer 8400, SGI POWER CHALENGE. Подтверждением этого стали результаты рейтинга ТОР500, где лидерами по числу инсталляций стали системы POWER CHALLENGE и SP2, опережающие модели ведущего производителя суперкомпьютеров - компании Cray Research.

Тем не менее, очевидна, будет продолжаться развитие векторных суперЭВМ, по крайней мере от Cray Research. Возможно, оно начинает сдерживаться из-за требований совместимости со старыми моделями. Так, не нашла потребителя система Cray-4 компании Cray Computer, имеющая характеристики конфигурации и производительность, близкие к новейшей системе Cray T90 от Cray Research при в 2 раза более низкой цене, но несовместимая с компьютерами Cray Research. В результате Cray Computer разорилась.

Успешно развиваются системы на базе Mpp-архитектур, в том числе с распределенной памятью. Появление новых высокопроизводительных микропроцессоров, использующих дешевую КМОП-технологию, существенно повышает конкурентноспособность данных систем.

Относительно новых решений со стороны VLIW-архитектур можно уверенно предположить, что, по крайней мере в ближайшие два года, RISC-процессорам бояться нечего.

Данный обзор не претендует на полноту изложения, а является попыткой представить общую картину состояния дел в области суперкомпьютеров. Для более детального ознакомления с архитектурами конкретных систем можно обратиться к другим публикациям этого выпуска журнала.

Литература

1. ComputerWorld Россия, # 9, 1995.

2. К.Вильсон, в сб. "Высокоскоростные вычисления". М. Радио и Связь, 1988, сс.12-48.

3. Б.А.Головкин, "Параллельные вычислительные системы". М.. Наука, 1980, 519 с.

4. Р.Хокни, К.Джессхоуп, "Параллельные ЭВМ. М.. Радио и Связь, 1986, 390 с.

5. Flynn И.,7., IEEE Trans. Comput., 1972, о.С-21, N9, рр. 948-960.

6. Russel К.М., Commun. АСМ, 1978, v. 21, # 1, рр. 63-72.

7. Т.Мотоока, С.Томита, Х.Танака, Т. Сайто, Т.Уэхара, "Компьютеры на СБИС", m.l. М. Мир, 1988, 388 с.

8. М.Кузьминский, Процессор РА-8000 . Открытые системы, # 5, 1995.

9. Открытые системы сегодня, # 11, 1995.

10. ComputerWorld Россия, ## 4, 6, 1995.

11. ComputerWorld Россия, # 8, 1995.

12. Открытые системы сегодня, # 9, 1995.

13. ComputerWorld Россия, # 2, 1995.

14. ComputerWorld Россия, # 12, 1995.

15. Виктор Шнитман, Системы Exemplar SPP1200

16. Михаил Борисов, UNIX-кластеры . Открытые системы, # 2, 1995, cc.22-28.

17. В. Шмидт, Системы IBM SP2 . Открытые системы, # 6, 1995.

18. Наталья Дубова, Суперкомпьютеры nCube . Открытые системы, # 2, 1995, сс.42-47.

19. Дмитрий Французов, Тест оценки производительности суперкомпьютеров . Открытые системы, # 6, 1995.

20. Дмитрий Волков, . Открытые системы, №2, 1994, с.44-48.

21. Андрей Волков, Тесты ТРС . СУБД, # 2, 1995, сс. 70-78.

Михаил Кузьминский , ИОХ РАН. Дмитрий Волков () -- ИПМ РАН (Москва).

Суперкомпьютеры: прошлое, настоящее и будущее

Впервые термин "суперЭВМ" был использован в начале 60-х годов, когда группа специалистов Иллинойского университета (США) под руководством доктора Д. Слотника предложила идею реализации первой в мире параллельной вычислительной системы. Проект, получивший название SOLOMON, базировался на принципе векторной обработки, который был сформулирован еще Дж. фон Нейманом, и концепции матричной параллельной архитектуры, предложенной С. Унгером в начале 50-х годов.

Дело в том, что большинство суперкомпьютеров демонстрирует поражающую воображение производительность благодаря именно этому (векторному) виду параллелизма. Любой программист, разрабатывая программы на привычных языках высокого уровня, наверняка неоднократно сталкивался с так называемыми циклами DO. Но мало кто задумывался, какой потенциал увеличения производительности заключается в этих часто используемых операторах. Известный специалист в области систем программирования Д.Кнут показал, что циклы DO занимают менее 4% кода программ на языке FORTRAN, но требуют более половины счетного времени задачи.

Идея векторной обработки циклов такого рода заключается в том, что в систему команд компьютера вводится векторная операция, которая работает со всеми элементами векторов-операндов. При этом реализуются сразу две возможности ускорения вычислений: во-первых, сокращается число выполняемых процессором команд объектного кода, поскольку отпадает необходимость в пересчете индексов и организации условного перехода и, во-вторых, все операции сложения элементов векторов-операндов могут быть выполнены одновременно в силу параллелизма обработки.

Важно отметить еще одну особенность векторной обработки, связанную с количеством элементарных операций цикла: чем больше параллельных операций входит в векторизуемый цикл, тем ощутимее выигрыш в скорости выполнения вычислений, так как сокращается доля непроизводительных временных затрат на выборку, дешифрацию и запуск на исполнение векторной команды.

Первой суперЭВМ, использующей преимущества векторной обработки, была ILLIAC IV (SIMD архитектура). В начале 60-х годов группа все того же Слотника, объединенная в Центр передовых вычислительных технологий при Иллинойском университете, приступила к практической реализации проекта векторной суперЭВМ с матричной структурой. Изготовление машины взяла на себя фирма Burroughs Corp. Техническая сторона проекта до сих пор поражает своей масштабностью: система должна была состоять из четырех квадрантов, каждый из которых включал в себя 64 процессорных элемента (ПЭ) и 64 модуля памяти, объединенных коммутатором на базе сети типа гиперкуб. Все ПЭ квадранта обрабатывают векторную инструкцию, которую им направляет процессор команд, причем каждый выполняет одну элементарную операцию вектора, данные для которой сохраняются в связанном с этим ПЭ модуле памяти. Таким образом, один квадрант ILLIAC IV способен одновременно обработать 64 элемента вектора, а вся система из четырех квадрантов - 256 элементов. В 1972 г. первая система ILLIAC IV была установлена в исследовательском центре NASA в Эймсе. Результаты ее эксплуатации в этой организации получили неоднозначную оценку. С одной стороны, использование суперкомпьютера позволило решить ряд сложнейших задач аэродинамики, с которыми не могли справиться другие ЭВМ. Даже самая скоростная ЭВМ для научных исследований того времени - Control Data CDC 7600, которую, к слову сказать, проектировал "патриарх суперЭВМ" Сеймур Крей, могла обеспечить производительность не более 5 MFLOPS, тогда как ILLIAC IV демонстрировала среднюю производительность примерно в 20 MFLOPS. С другой стороны, ILLIAC IV так и не была доведена до полной конфигурации из 256 ПЭ; практически разработчики ограничились лишь одним квадрантом. Причинами явились не столько технические сложности в наращивании числа процессорных элементов системы, сколько проблемы, связанные с программированием обмена данными между процессорными элементами через коммутатор модулей памяти. Все попытки решить эту задачу с помощью системного программного обеспечения потерпели неудачу, в результате каждое приложение требовало ручного программирования передач коммутатора, что и породило неудовлетворительные отзывы пользователей.

Если бы разработчикам ILLIAC IV удалось преодолеть проблемы программирования матрицы процессорных элементов, то, вероятно, развитие вычислительной техники пошло бы совершенно другим путем и сегодня доминировали бы компьютеры с матричной архитектурой. Однако ни в 60-х годах, ни позднее удовлетворительное и универсальное решение двух таких принципиальных проблем, как программирование параллельной работы нескольких сотен процессоров и при этом обеспечение минимума затрат счетного времени на обмен данными между ними, так и не было найдено. Потребовалось еще примерно 15 лет усилий различных фирм по реализации суперЭВМ с матричной архитектурой, чтобы поставить окончательный диагноз: компьютеры данного типа не в состоянии удовлетворить широкий круг пользователей и имеют весьма ограниченную область применения, часто в рамках одного или нескольких видов задач.

По мере освоения средств сверхскоростной обработки данных разрыв между совершенствованием методов векторизации программ, т.е. автоматического преобразования в процессе компиляции последовательных языковых конструкций в векторную форму, и чрезвычайной сложностью программирования коммутации и распределения данных между процессорными элементами привел к достаточно жесткой реакции пользователей в отношении матричных суперЭВМ - широкому кругу программистов требовалась более простая и "прозрачная" архитектура векторной обработки с возможностью использования стандартных языков высокого уровня типа FORTRAN. Решение было найдено в конце 60-х годов, когда фирма Control Data, с которой в то время сотрудничал Крей, представила машину STAR-100, основанную на векторно-конвейерном принципе обработки данных. Отличие векторно-конвейерной технологии от архитектуры матричных ЭВМ заключается в том, что вместо множества процессорных элементов, выполняющих одну и ту же команду над разными элементами вектора, применяется единственный конвейер операций, принцип действия которого полностью соответствует классическому конвейеру автомобильных заводов Форда. Даже такая архаичная по современным понятиям суперЭВМ, как STAR-100, показала предельную производительность на уровне 50 MFLOPS. При этом существенно, что векторно-конвейерные суперЭВМ значительно дешевле своих матричных "родственников". К примеру, разработка и производство ILLIAC IV обошлись в 40 млн. долл. при расходах на эксплуатацию порядка 2 млн. долл. в год, тогда как рыночная стоимость первых суперкомпьютеров фирм CRAY и Control Data находилась в пределах 10 - 15 млн. долл., в зависимости от объема памяти, состава периферийных устройств и других особенностей конфигурации системы.

Второй существенной особенностью векторно-конвейерной архитектуры является то, что конвейер операций имеет всего один вход, по которому поступают операнды, и один выход результата, тогда как в матричных системах существует множество входов по данным в процессорные элементы и множество выходов из них. Другими словами, в компьютерах с конвейерной обработкой данные всех параллельно исполняемых операций выбираются и записываются в единую память, в связи с чем отпадает необходимость в коммутаторе процессорных элементов, ставшем камнем преткновения при проектировании матричных суперЭВМ.

Следующий удар по позициям суперЭВМ с матричной архитектурой нанесли две машины фирмы Control Data Corp. - CYBER-203 и CYBER-205. Пиковая производительность первой составила 100, а второй - уже 400 MFLOPS.

CRAY-1 совершает переворот Векторно-конвейерный суперкомпьютер STAR-100 и машины серии CYBER- 200, образно говоря, явились только "нокдауном" для матричной архитектуры. Нокаутирующий удар был нанесен в 1974 г., когда Крей, к тому времени покинувший корпорацию CDC и основавший собственную фирму Cray Research, объявил о выпуске CRAY-1 - векторно-конвейерной суперЭВМ, ставшей эпохальным событием в мире вычислительной техники. Эта малогабаритная машина (ее высота немного превосходит средний человеческий рост, а занимаемая процессором площадь чуть больше 2,5 кв.м), имела производительность 160 MFLOPS и емкость оперативной памяти 64 Мбайт. После непродолжительной пробной эксплуатации в Лос-Аламосской лаборатории, где новинка получила самые высокие отзывы программистов и математиков, Cray Research наладила серийный выпуск машин CRAY-1, которые активно раскупались в США. Любопытно, что администрация США в должной степени оценила стратегическую ценность CRAY-1 и контролировала поставки этого компьютера даже в дружественные государства. Появление CRAY-1 вызвало интерес не только у пользователей, нуждающихся в средствах сверхскоростной обработки данных, но и у специалистов по архитектуре суперкомпьютеров. Для многих неожиданным (а для разработчиков CYBER-205 даже неприятным) стал тот факт, что с большинством задач маленький компьютер CRAY-1 справлялся быстрее, чем значительно превосходящий его по габаритам и пиковой производительности CYBER-205. Так, при тестировании на пакете решения линейных уравнений LINPACK Джек Донгарра из Национальной лаборатории в Аргонне оценил производительность CRAY-1S в пределах 12 - 23 MFLOPS в зависимости от способа программирования, тогда как CYBER-205 показал производительность лишь 8,4 MFLOPS. Объяснение нашлось, как только вспомнили о законе Амдала (G.Amdahl), который известный архитектор системы IBM/360 сформулировал в 1967 г. в виде следующего постулата: "Производительность вычислительной системы определяется самым медленным ее компонентом". Применительно к векторным суперЭВМ парадокс Амдала преломляется следующим образом. Любая задача, выполняемая в суперЭВМ, состоит из двух взаимосвязанных частей - векторных команд, сгенерированных компилятором при векторизации исходной программы, и скалярных операций, которые компилятор не сумел перевести в векторную форму. Если представить себе суперкомпьютер, который умеет одинаково быстро производить скалярные и векторные операции, то парадокс Амдала "не срабатывает" и такая система с равной скоростью будет выполнять задачи любой степени векторизации. Но само собой, что скалярная обработка занимает больше времени, плюс ко всему CRAY-1 при цикле 12,5 нс обладает большим быстродействием скалярной обработки по сравнению с компьютером CYBER-205, у которого цикл равен 20 нс.

Существует еще одна причина, по которой CRAY-1 превосходит CYBER-205 по скорости решения большинства прикладных задач. Впервые в практике сверхскоростной обработки данных, а возможно, и вообще в вычислительной технике CRAY-1 был разработан как компьютер с полностью законченной архитектурой "регистр-регистр". Все операции обработки данных, которые выполняет центральный процессор этой машины, выбирают операнды и записывают результаты вычислений, используя не оперативную память, как это было сделано в CYBER-205 и более ранних суперкомпьютерах, а специально предназначенные для этой цели программно-адресуемые регистры. Для реализации этой архитектуры в CRAY-1 было введено принципиальное новшество - векторные регистры, которые адресовались командами центрального процессора подобно обычным регистрам данных, но могли запомнить до 64 элементов вектора каждый при 64- разрядном формате отдельных элементов. Естественно, что по сравнению с CYBER-205 каждая отдельная векторная команда в CRAY-1 выполнялась быстрее, поскольку операции типа "регистр-регистр" отличаются от операций типа "память-память" меньшими временными затратами на чтение операндов и запись результата. Однако решающие преимущества CRAY-1 перед суперЭВМ CDC и матричными суперкомпьютерами определяются не столько лучшей сбалансированностью показателей производительности, сколько простотой и удобством эксплуатации, а также высоким качеством системного программного обеспечения. При разработке своей первой суперЭВМ Крей принял во внимание то важное обстоятельство, что большинство существующих пакетов прикладных программ написано на языках последовательного типа, чаще всего на языке FORTRAN. Поэтому в состав программного обеспечения CRAY-1 был включен интеллектуальный FORTRAN-компилятор CFT, способный обнаруживать параллелизм в программах последовательного действия и преобразовывать их в векторизованный код. Естественно, что при таком подходе все имеющееся у пользователя программное обеспечение с незначительными доработками может быть перенесено на суперЭВМ.

Кроме векторизации циклических конструкций, в компиляторе CFT суперкомпьютера CRAY-1 было введено еще одно принципиальное новшество - автоматический поиск в исходной программе и построение многоконвейерных цепочек. Суть его заключается в следующем: если в программе встречаются две связанные векторные операции (т.е. результат первой служит операндом второй), то в отличие от случая связанных скалярных операций, когда выполнение второй операции начинается только после завершения предыдущей, обе векторные команды могут обрабатываться практически параллельно, что удваивает производительность системы.

В целом CRAY-1 продемонстрировал то, как надо сочетать простоту и эффективность технических решений в области аппаратного и программного обеспечения суперкомпьютера с простотой и удобством его использования и, в первую очередь программирования в привычной для большинства разработчиков среде "классических" последовательных языков типа FORTRAN.

Спустя некоторое время, специалисты из Fujitsu, Hitachi и Nippon Electric (NEC) в короткие сроки сумели выдать настоящий ответ Крею из шести моделей суперЭВМ, мало уступающих CRAY-1 по основным характеристикам, а кое в чем и превосходящих свой американский прототип.

Дело в том, что в начале 70-х годов Япония включилась в гонку суперкомпьютеров, объявив о начале государственной программы создания ЭВМ сверхвысокой производительности. В качестве основных исполнителей этой программы были выбраны три ведущие компьютерные фирмы Японии. Корпорация NEC образовала совместное предприятие с Honeywell под названием Honeywell-NEC Supercomputers (HNS), а фирма Fujitsu сумела заключить соглашение с Джином Амдалом, который к тому времени ушел из IBM и основал собственную компанию Amdahl Corp. Плодом этого союза стала машина AMDAHL V/6, открывшая эру компьютеров на больших интегральных схемах и заставившая всерьез поволноваться руководство IBM, когда выяснилось, что эксплуатационные характеристики AMDAHL V/6 не оставляют серьезных шансов на победу ни одному из компьютеров IBM того времени. Обладая технологией и опытом разработки ЭВМ на БИС, которых американцы в ту пору не имели, так как CYBER-200 и CRAY-1 были разработаны на микросхемах средней степени интеграции, японские фирмы пошли в наступление на фронте суперкомпьютеров.

В начале 80-х годов свет увидели сразу три семейства суперЭВМ японского производства, причем каждый суперкомпьютер из Страны Восходящего Солнца имел свою архитектурную изюминку. Во-первых, во всех японских суперЭВМ по сравнению с CRAY-1 было увеличено число скалярных и векторных регистров (например, NEC SX располагает 256 скалярными и 256 векторными регистрами против восьми регистров обоих типов в CRAY-1). За счет этого удалось снизить нагрузку на оперативную память системы, а также, что значительно существеннее, получить большие возможности для эффективной векторизации программ. Еще одно интересное новшество ввели разработчики суперЭВМ семейства NEC SX, объединив векторную архитектуру "регистр-регистр" с принципом многоконвейерной обработки, ранее реализованном в суперкомпьютерах STAR-100, CYBER-203 и CYBER-205 фирмы Control Data.

Правда, здесь следует отметить следующее: во-первых, многоконвейерная обработка требует установки дополнительных модулей, что увеличивает стоимость центрального процессора, во-вторых, исполнение одной векторной команды на нескольких параллельных конвейерах приводит к возрастанию доли непроизводительных временных затрат на запуск команды, подготовку операндов и запись результата. Например, если конвейер, выполняющий одну элементарную операцию за пять тактов, заменить на четыре таких же конвейера, то при длине векторов в 100 элементов векторная команда ускоряется всего в 3,69, а не в 4 раза. Эффект "отставания" роста производительности от увеличения числа конвейеров особенно заметен, когда процессор затрачивает значительное время на обмен данными между конвейером и памятью. Это обстоятельство не было должным образом оценено при разработке CYBER-205, и в результате архитектура "память-память" данной модели настолько ухудшила динамические параметры четырех конвейеров ее векторного процессора, что для достижения производительности, близкой к 200 MFLOPS, потребовалась очень высокая степень векторизации программ (порядка 1 тыс. элементов в векторе), т.е. потенциально самая мощная суперЭВМ 70-х годов реально могла эффективно обрабатывать только ограниченный класс задач. Конечно, подобный просчет негативно отразился на рыночной судьбе CYBER-205 и на всей программе суперЭВМ компании Control Data. После CYBER-205 фирма CDC прекратила попытки освоения рынка суперЭВМ.

Использование в суперкомпьютерах NEC SX архитектуры "регистр-регистр" позволило нейтрализовать недостатки многоконвейерной обработки, и модель NEC SX-2 с 16 векторными конвейерами стала первой суперЭВМ, преодолевшей рубеж в миллиард операций с плавающей точкой за секунду - ее пиковая производительность составила 1,3 GFLOPS. Фирма Hitachi пошла по другому пути. В суперкомпьютерах серии S-810 ставка была сделана на параллельное выполнение сразу шести векторных команд. Далее Hitachi, продолжает линию этого семейства моделями S-810/60 и S-810/80; последняя занимает достойное третье место по результатам тестирования производительности на пакете LINPACK, уступая только грандам из CRAY и NEC. Относительную коммерческую стабильность суперкомпьютеров Hitachi можно объяснить тем, что они, как и суперЭВМ фирмы Fujitsu, полностью совместимы с системой IBM/370 по скалярным операциям. Это позволяет применять программы, созданные на IBM VS FORTRAN и в стандарте ANSI X3.9 (FORTRAN 77), а также использовать стандартную операционную среду MVS TSO/SPF и большинство системных расширений IBM, включая управление вводом/выводом для IBM-совместимых дисковых и ленточных накопителей. Другими словами, японские суперЭВМ фирм Hitachi и Fujitsu первыми в мире суперкомпьютеров использовали дружественный интерфейс для пользователей наиболее распространенной в то время вычислительной системы - IBM/370.

Натиск японских производителей был впечатляющим, но тут С. Крей наносит своевременный контрудар - в 1982 г. на рынке появилась первая модель семейства суперкомпьютеров CRAY X-MP, а двумя годами позже в Ливерморской национальной физической лаборатории им. Лоуренса был установлен первый экземпляр суперЭВМ CRAY-2. Машины от Cray Research опередили конкурентов в главном - они ознаменовали зарождение нового поколения ЭВМ сверхвысокой производительности, в которых векторно-конвейерный параллелизм дополнялся мультипроцессорной обработкой. Крей применил в своих компьютерах неординарные решения проблемы увеличения производительности. Сохранив в CRAY-2 и CRAY X-MP архитектуру и структурные наработки CRAY- 1, он сокрушил конкурентов сразу на двух фронтах: достиг рекордно малой длительности машинного цикла (4,1 нс) и расширил параллелизм системы за счет мультипроцессорной обработки. В итоге Cray Research сохранила за собой звание абсолютного чемпиона по производительности: CRAY-2 продемонстрировала пиковую производительность 2 GFLOPS, обогнав NEC SX-2 - самую быструю японскую суперЭВМ - в полтора раза. Для решения проблемы оптимизации машинного цикла Крей пошел дальше японцев, которые уже владели технологией ECL-БИС, позволившей в Fujitsu VP достичь длительности машинного цикла в 7,5 нс. Помимо того что в CRAY-2 были использованы быстродействующие ECL-схемы, конструктивное решение блоков ЦП обеспечивало максимальную плотность монтажа компонентов. Для охлаждения такой уникальной системы, которая выделяла ни много ни мало 195 кВт, была использована технология погружения модулей в карбид фтора - специальный жидкий хладагент производства американской фирмы 3M.

Второе революционное решение, реализованное в суперкомпьютере CRAY- 2, заключалось в том, что объем оперативной памяти был доведен до 2 Гбайт. С.Крею удалось выполнить критерий балансировки производительности и емкости оперативной памяти по Флинну: "Каждому миллиону операций производительности процессора должно соответствовать не менее 1 Мбайт емкости оперативной памяти". Суть проблемы заключается в том, что типичные задачи гидро- и аэродинамики, ядерной физики, геологии, метеорологии и других дисциплин, решаемые с помощью суперЭВМ, требуют обработки значительного объема данных для получения результатов приемлемой точности. Eстественно, при таких объемах вычислений относительно малая емкость оперативной памяти вызывает интенсивный обмен с дисковой памятью, что в полном соответствии с законом Амдала ведет к резкому снижению производительность системы.

Все-таки новый качественный уровень суперкомпьютера CRAY-2 определялся не столько сверхмалой длительностью машинного цикла и сверхбольшой емкостью оперативной памяти, сколько мультипроцессорной архитектурой, заимствованной у другой разработки Cray Research - семейства многопроцессорных суперЭВМ CRAY X-MP. Его три базовые модели - X-MP/1, X-MP/2 и X-MP/4 - предлагали пользователям одно-, двух- или четырехпроцессорную конфигурацию системы с производительностью 410 MFLOPS на процессор. Спектр доступных вариантов расширялся за счет возможности установки памяти разного объема (от 32 до 128 Мбайт на систему). Такой ориентированный на рынок подход к построению суперкомпьютера впоследствии принес фирме Cray Research ощутимый коммерческий эффект. Мультипроцессорная архитектура суперкомпьютеров производства CRAY была разработана с учетом достижений и недостатков многопроцессорных мэйнфреймов, в первую очередь фирмы IBM. В отличие от "классических" операционных систем IBM, которые используют для взаимодействия процессов механизм глобальных переменных и семафоров в общей памяти, мультипроцессорная архитектура CRAY предполагает обмен данными между процессорами через специальные кластерные регистры, кроме того, для обслуживания взаимодействия процессов в архитектуре CRAY предусмотрены аппаратно-реализованные семафорные флажки, которые устанавливаются, сбрасываются и анализируются с помощью специальных команд, что также ускоряет межпроцессорный обмен и в итоге увеличивает системную производительность. В результате этих новшеств коэффициент ускорения двухпроцессорной суперЭВМ CRAY X-MP/2 по отношению к однопроцессорной CRAY X-MP/1 составляет не менее 1,86.

В отличие от семейства CRAY X-MP, модели которого работают под управлением операционной системы COS (Cray Operating System), CRAY-2 комплектовалась новой операционной системой CX-COS, созданной фирмой Cray Research на базе Unix System V.

Во второй половине 80-х годов Control Data, "сошедшая с дистанции" после неудачи с моделью CYBER-205 вновь появляется на рынке сперЭВМ. Строго говоря, за разработку новой восьмипроцессорной суперЭВМ взялась ETA Systems - дочерняя фирма CDC, - однако в этом проекте был задействован практически весь потенциал Control Data. Вначале проект под названием ETA-10, получивший поддержку правительства через контракты и дотации потенциальным пользователям вызвал оживление среди специалистов по сверхскоростной обработке. Ведь новая суперЭВМ должна была достичь производительности в 10 GFLOPS, т.е. в пять раз превзойти CRAY-2 по скорости вычислений. Первый образец ETA-10 с одним процессором производительностью 750 MFLOPS был продемонстрирован в 1988 г., однако дальше дела пошли хуже. Во втором квартале 1989 г. Control Data объявила о свертывании деятельности компании ETA Systems из-за нерентабельности производства.

Не остался в стороне от проблем сверхвысокой производительности и гигант компьютерного мира - фирма IBM. Не желая уступать своих пользователей конкурентам из Cray Research, компания приступила к программе выпуска старших моделей семейства IBM 3090 со средствами векторной обработки (Vector Facility). Самая мощная модель этой серии - IBM 3090/VF-600S оснащена шестью векторными процессорами и оперативной памятью емкостью 512 Мбайт. В дальнейшем эта линия была продолжена такими машинами архитектуры ESA, как IBM ES/9000-700 VF и ES/9000-900 VF, производительность которых в максимальной конфигурации достигла 450 MFLOPS.

Еще одна известная в компьютерном мире фирма - Digital Equipment Corp. - в октябре 1989 г. анонсировала новую серию мэйнфреймов с векторными средствами обработки. Старшая модель VAX 9000/440 оснащена четырьмя векторными процессорами, повышающими производительность ЭВМ до 500 MFLOPS.

Высокая стоимость суперЭВМ и векторных мэйнфреймов оказалась не по карману достаточно широкому кругу заказчиков, потенциально готовых воспользоваться компьютерными технологиями параллельных вычислений. К их числу относятся мелкие и средние научные центры и университеты, а также производственные компании, которые нуждаются в высокопроизводительной, но сравнительно недорогой вычислительной технике.

С другой стороны, такие крупнейшие производители суперЭВМ, как Cray Research, Fujitsu, Hitachi и NEC, явно недооценили потребности "средних" пользователей, сосредоточившись на достижении рекордных показателей производительности и, к сожалению, еще более рекордной стоимости своих изделий. Весьма гибкой оказалась стратегия Control Data, которая после неудачи с CYBER-205 основное внимание уделила выпуску научных компьютеров среднего класса. На конец 1988 г. производство машин типа CYBER-932 вдвое превысило выпуск старших моделей серии CYBER-900 и суперЭВМ с маркой CDC. Основным конкурентом Control Data на рынке малогабаритных параллельных компьютеров, которые получили общее название "мини-суперЭВМ", стала будущий лидер в мире мини-суперкомпьютеров фирма Convex Computer. В своих разработках Convex первой реализовала векторную архитектуру с помощью сверхбольших интегральных схем (СБИС) по технологии КМОП. В результате пользователи получили серию относительно недорогих компьютеров по цене менее 1 млн. долл., обладающих производительностью от 20 до 80 MFLOPS. Спрос на эти машины превзошел все ожидания. Явно рискованные инвестиции в программу Convex обернулись быстрым и солидным доходом от ее реализации. История развития суперкомпьютеров однозначно показывает, что в этой сложнейшей области инвестирование высоких технологий, как правило, дает положительный результат - надо только, чтобы проект был адресован достаточно широкому кругу пользователей и не содержал слишком рискованных технических решений. Convex, которая, получив такое преимущество на старте, стала успешно развиваться. Сначала она выпустила на рынок семейство Convex C-3200, старшая модель которого C-3240 имеет производительность 200 MFLOPS, а затем - семейство Convex C-3800, состоящее из четырех базовых моделей в одно-, двух- , четырех- и восьмипроцессорной конфигурации. Самая мощная машина этой серии Convex C-3880 имеет производительность, достойную "настоящей" суперЭВМ 80-х годов, и при тестировании на пакете LINPACK обогнала по скорости вычислений такие системы, как IBM ES/9000-900 VF, ETA-10P и даже CRAY-1S. Отметим, что Cray Research, выпускает мини-суперЭВМ CRAY Y-EL, также реализованную на технологии КМОП-СБИС. Этот компьютер может поставляться в одно-, двух- или четырехпроцессорной конфигурации и обеспечивает производительность 133 MFLOPS на процессор. Объем оперативной памяти изменяется в зависимости от пожеланий заказчика в диапазоне 256-1024 Мбайт.

Доминирование векторных суперкомпьютеров в государственных программах и устойчивое положение "царя горы", занятое Cray Research, явно не устраивало сторонников MIMD-параллелизма. Первоначально в этот класс были включены многопроцессорные мэйнфреймы, а впоследствии к ним добавились суперЭВМ третьего поколения с мультипроцессорной структурой. И те и другие основаны на сформулированном фон Нейманом принципе управления вычислительным процессом по командам программы, или управления потоком команд (Instruction Flow). Однако примерно с середины 60-х годов математики стали обсуждать проблему разбиения задачи на большое число параллельных процессов, каждый из которых может обрабатываться независимо от других, а управление выполнением всей задачи осуществляется путем передачи данных от одного процесса к другому. Этот принцип, известный как управление потоком данных (Data Flow), в теории выглядит очень многообещающим. Теоретики DataFlow-параллелизма предполагали, что систему можно будет организовать из небольших и потому дешевых однотипных процессоров. Достижение сверхвысокой производительности целиком возлагалось на компилятор, осуществляющий распараллеливание вычислительного процесса, и ОС, координирующую функционирование процессоров. Внешняя простота принципа MIMD-параллелизма вызвала к жизни множество проектов.

Из наиболее известных разработок систем класса MIMD стоит упомянуть IBM RP3 (512 процессоров, 800 MFLOPS), Cedar (256 процессоров, 3,2 GFLOPS; компьютер одноименной фирмы), nCUBE/10 (1024 процессора, 500 MFLOPS) и FPS-T (4096 процессоров, 65 GFLOPS). К сожалению, ни один из этих проектов не завершился полным успехом и ни одна из упомянутых систем не показала объявленной производительности. Дело в том, что, как и в случае с матричными SIMD-суперкомпьютерами, слишком много технических и программных проблем было связано с организацией коммутатора, обеспечивающего обмен данными между процессорами. Кроме того, процессоры, составляющие MIMD- систему, оказались на практике не столь уж маленькими и дешевыми. Как следствие, наращивание их числа приводило к такому увеличению габаритов системы и удлинению межпроцессорных связей, что стало совершенно очевидно: при существовавшем в конце 80-х годов уровне элементной базы реализация MIMD-архитектуры не может привести к появлению систем, способных конкурировать с векторными суперкомпьютерами.

Неординарное решение проблемы коммутационной сети процессоров MIMD- системы предложила мало кому известная фирма Denelcor, которая выполнила разработку многопроцессорной модели HEP-1. Этот суперкомпьютер был задуман как MIMD-система, содержащая от 1 до 16 исполнительных процессорных элементов и до 128 банков памяти данных по 8 Мбайт каждый. Система из 16 процессоров должна была обладать максимальной производительностью 160 MFLOPS при параллельной обработке 1024 процессов (по 64 процесса в каждом из 16 ПЭ). Любопытной архитектурной особенностью HEP-1 было то, что MIMD-обработка множества процессов выполнялась без использования коммутационной сети, которую заменила так называемая "вертушка Флинна".

Напомним, что идея "вертушки Флинна" заключается в организации мультипроцессора как нелинейной системы, состоящей из группы процессоров команд (ПрК), каждый из которых "ведет" свой поток команд, и общего для всех ПрК набора арифметических устройств, циклически подключаемых к каждому из ПрК для выполнения их команд. Нетрудно заметить, что эффект "вертушки Флинна" состоит в сокращении объема, занимаемого арифметическими устройствами в многопроцессорной системе, поскольку на "арифметику" может приходиться до 60% аппаратных ресурсов центрального процессора.

На первый взгляд структура HEP-1 практически не отличается от классической "вертушки Флинна" - такой же циклический запуск команд, принадлежащих разным процессам, и те же общие для множества процессов арифметические устройства. Однако на входе исполнительных устройств переключаются не процессоры команд, а процессы с помощью специального механизма выборки, сохранения и восстановления слов состояния каждого исполняемого процесса. Во-вторых, в HEP-1 применяются конвейерные исполнительные устройства, что позволяет арифметическим устройствам обрабатывать существенно больше операций, чем прототипам мэйнфреймов. Казалось бы, наконец найдено решение, объединяющее достоинства MIMD- архитектуры и конвейерной обработки данных (отсюда название "MIMD-конвейеризация") и к тому же исключающее основной недостаток MIMD-структуры - наличие сетевого коммутатора процессоров. Однако после довольно успешных тестов суперЭВМ HEP-1 и одобрительных отзывов аналитиков запущенный в производство проект следующей подобной машины HEP-2 был закрыт по причине отсутствия заказов. Подобно множеству других проектов создания суперкомпьютеров с MIMD- архитектурой, программа HEP не получила одобрения пользователей из-за недостатков системного ПО. Дело в том, что в отличие от векторных суперкомпьютеров, которые успешно справляются с задачами, представленными на стандартных языках последовательного типа, для эффективного программирования MIMD-систем потребовалось введение в обиход совершенно новых языков параллельного программирования.

Если проектировщикам суперкомпьютеров класса MIMD удастся разрешить проблемы системного ПО, доступных языков параллельного программирования, а также компиляторов для этих языков, то в развитии вычислительной техники надо ожидать весьма крутого и драматического поворота событий.

После коммерческого успеха моделей CRAY X-MP фирма Cray Research выпустила модифицированное семейство суперкомпьютеров CRAY Y-MP, обладающих большим числом процессоров (до восьми) и пониженной длительностью машинного цикла (6 нс). Старшая модель этого семейства CRAY Y-MP/832 имела пиковую производительность 2666 MFLOPS и занимала двенадцатую позицию в рейтинге Дж. Донгарра по результатам тестирования на пакете LINPACK.

Первые же пять позиций принадлежали представителям CRA Y-MP C90, старшая модель которого - 16-процессорная машина CRAY Y-MP C90/16256 - имела оперативную память емкостью 2 Гбайт и могла демонстрировать производительность на уровне 16 GFLOPS. Все 16 процессоров и оперативная память этого компьютера размещались в одной стойке весьма скромных размеров: 2,95x2,57x2,17 м3. Подсистема ввода/вывода CRAY Y-MP C90 имела до 256 каналов с общей пропускной способностью 13,6 Гбайт/с, встроенный кремниевый диск емкостью 16 Гбайт и поддерживала дисковую память общей емкостью до 4 Тбайт. "Суперпараметры" модели CRAY Y-MP C90 эффектно дополняются развитым программным обеспечением, центральным ядром которого являются компиляторы CF77 Fortran, Cray Standard C Compiler, Cray ADA и Pascal.

Примерно в это время Сеймур Крей оставляет основанную им фирму Cray Research и создает новую компанию Cray Computer в целях разработки суперкомпьютеров нового поколения CRAY-3 и CRAY- 4. Причинами этого шага стали два обстоятельства: во-первых, руководство Cray Research не хотело подвергать фирму финансовому и моральному риску в случае неудачи новых проектов, а во-вторых, сам Крей предпочел заниматься пионерскими разработками, оставив для Cray Research задачу закрепления рыночного успеха уже созданных продуктов. В результате, освободившись от бремени проектирования CRAY-3 и CRAY-4, его прежнее детище сосредоточилось на "шлифовке" аппаратного и программного обеспечения семейства CRAY Y-MP, а новое занялось поиском технических решений, позволяющих кардинально повысить производительность векторно-конвейерной обработки. Дело в том, что в конце 80-х годов Крей сумел предугадать ситуацию, которая сложилась в области векторных суперкомпьютеров к середине 90-х: архитектурные и программные возможности увеличения производительности за счет многопроцессорной обработки и совершенствования операционных систем и компиляторов для суперЭВМ этого класса оказались практически исчерпаны, а их традиционная элементная база - ECL и BiCMOS БИС со степенью интеграции порядка 10 тыс. вентилей на кристалл - не позволяет преодолеть порог длительности машинного цикла в 2-3 нс. В основу проекта CRAY-3 была заложена идея перехода на принципиально новую элементную базу - БИС на основе арсенида галлия, которая теоретически позволяет обеспечить субнаносекундную продолжительность машинного цикла. Затея казалась весьма рискованной, тем более что в конце 80-х годов в мире не существовало промышленно освоенной технологии для производства подобной элементной базы. Во всяком случае проект CRAY-3 "затормозился" именно из-за неудовлетворительного состояния технологии разработки и производства GaAs-микросхем, а также сборки из них отдельных модулей. Тем не менее после примерно пяти лет работы над проектом CRAY-3 "вышел в свет" и сразу оказался в тройке рекордсменов производительности, обогнав все конкурирующие суперкомпьютеры по тактовой частоте.

Примерно в середине 90-х годов сумашедший темп развития суперкомпьютеров был потерян. В качестве основных причин следует привести следующие: огромный спад государственной поддержки программы развития суперЭВМ, как результат прекращения ‘холодной войны’, плюс отсутствия рынка сбыта супермашин, что объясняется наличием вполне подходящих мини-суперЭВМ гораздо более дешевых и доступных. Большинство производителей стараются переориентироваться на создании архитектур с массовым параллелизмом (MPP).

1994г. Компания Cray Computer сообщила о выпуске в первой половине следующего года суперкомпьютера Cray-4 в четырех- и восьмипроцессорных конфигурациях. Фирма NEC представила на американском рынке свой суперкомпьютер SX-4, поставки которого начнутся в 1995 г. Выпуск массово-параллельного компьютера NCube 3, продемонстрированного компанией NCube и ориентированного на научный рынок, намечен на II квартал будущего года.

1995г. Пожалуй, самым впечатляющим событием стал крах фирмы Cray Computer. Эти новости мало для кого оказались сюрпризом: не составляло тайны существование многочисленных долгов, накопившихся в результате того, что Cray Computer не смогла продать ни одного компьютера Cray-3 за два года, прошедших со дня представления системы.

Примерно в это же время Cray Research объявила о выпуске новой серии суперкомпьютеров CRAY T90, в которых впервые отсутствуют кабельные соединения. В этих системах, получивших на стадии разработки название Triton, количество процессоров варьировалось от 1 до 32, а максимальная производительность достигала 60 млрд. операций в секунду. По сравнению с 16-процессорными компьютерами CRAY C90, быстродействие которых достигает 16 Гфлопс, новые машины имеют в 3-5 раз лучшее соотношение производительность/стоимость.

В Японии же, Fujitsu представляет два векторных параллельных суперкомпьютера на базе КМОП-технологии: VX и VPP оснащены запатентованными БИС на КМОП-структурах, объемом памяти 8 Гбайт для модели VX и 32 Гбайт - для VPP300. При максимальной конфигурации (16 процессоров) производительность VPP300 составляет 35,2 Гфлопс, а модели VX при четырех процессорах - 8,8 Гфлопс.

Компания Parsytec Computer GmbH продемонстрировала первую систему с массовым параллелизмом GC/Power Plus на базе RISC- процессоров PowerPC 601. Количество процессорных элементов в GC/Power Plus может меняться от 32 до 1024, при этом производительность составляет от 2,5 до 80 GFLOPS

В 1996 г. Cray начинает коммерческий выпуск новой модели масштабируемых суперкомпьютеров CRAY T3E с пиковой производительностью 1,2 TFLOPS. Основная характеристика, на которой акцентировали внимание разработчики, - масштабируемость, не имеющая аналогов в истории суперкомпьютеров. Минимальная конфигурация, содержащая восемь микропроцессоров, допускает увеличение их количества в 256 раз. Увеличение производительности может быть также достигнуто кластеризацией систем.

Тем не менее, проектирование MIMD машин по-прежнему в большей степени являлось искусством, правда следует отметить явное движение в это области. Так, MIMD-суперкомпьютеру Paragon с распределенной памятью, разработанному Intel, удалось выжить и вполне успешно существовать (построен на коммерческих микропроцессорах от Intel) : с быстродействием 140 Гфлопс установлен в лаборатории Sandia и 150 Гфлопс установлен в Oak Ridge National Lab. Еще одним примером может служить система HP Exemplar SPP1600, которая была построена на микропроцессорах RISC PA-7200 и основана на архитектурном принципе MIMD с разделением памяти.

Fujitsu выпусакет семейство суперкомпьютеров VPP700 Series. Их конфигурация может наращиваться от базовой, включающей 8 процессорных блоков, до 256- процессорной с совокупной производительностью в 500 Гфлопс. IBM продолжает развивать свое семейство RS/6000 Scalable Powerparallel (SP). Она строит свой самый мощный параллельный компьютер с 472 процессорами и максимальной производительностью в 200 Гфлопс (превоначально планировалось, что в восьми корпусах разместятся 512 узлов, а общее число процессоров достигнет 4096).

Спустя год, опять анонсировала суперкомпьютер CRAY Т3Е-900 на более быстрых процессорах, чем у предшествующей модели CRAY Т3Е. За счет этого достигнута рекордная производительность 1,8 TFLOPS. Тогда это единственная в мире система, мощность которой превысила триллион FLOPS. Новый суперкомпьютер представляет собой не кластер множества независимых узлов, а единую систему с централизованным управлением и сильносвязанными процессорными элементами. Максимальное число процессоров CRAY T3E-900 достигает 2048.

1997г. может быть отмечен, как появлением корпорации Sun Microsystems на рынке суперкомпьютеров. Предпосылкой для этого служит выпуск нового семейства Ultra-Sparc III, на базе которого Sun планирует выпустить системы. При этом следует отметить, что Sun отдала предпочтение SMP (симметричной многопроцессорной) архитектуре: так, cуперкомпьютер UltraHPC может быть сконфигурирован на базе 64 процессоров Ultrasparc II (250 Mhz) и способен обеспечивать производительность до 32 Gflops; в то время, как большинство производителей суперЭВМ ‘исповедуют’ NUMA (архитектура с неоднородным доступом к памяти).

А как обстоят дела со всем этим в России? Нет большого секрета и в том, что сегодня компьютерная индустрия России находится в коматозном состоянии.. К середине 80-х годов в СССР существовала достаточно стройная государственная программа по суперкомпьютерам, которая, помимо финансирования довольно широкого спектра проектов, включала действия по модернизации производства элементной базы и оснащению заводов необходимым технологическим оборудованием. В случае успеха этой программы в 1989 - 1991 гг. на свет должен был появиться целый ряд вполне современных суперкомпьютеров с производительностью от 100 MFLOPS до 1,2 GFLOPS. Кроме того, советская суперкомпьютерная программа предполагала значительное продвижение в области MIMD-систем. Строго говоря, к этому времени СССР уже обладал компьютерами "Эльбрус-2", параметры которых вполне соответствовали определению "суперЭВМ". Фаворитом суперкомпьютерной программы стал коллектив разработчиков этой машины - Институт точной механики и вычислительной техники им. Лебедева АН СССР (ИТМиВТ), известный такими запоминающимися проектами, как "БЭСМ", "Чегет" и "Эльбрус- 1". Именно в этом институте были заложены два (из четырех) основных проекта государственной программы - "Эльбрус-3" и "Модульный конвейерный процессор" (МКП). Одно направление возглавил проект "Эльбрус-3", основанный на совершенно новой архитектуре широкой команды (Very Long Instruction Word, VLIW). Архитектура этого типа интересна тем, что центральный процессор выбирает из памяти и запускает на исполнение сразу несколько операций, упакованных компилятором в одно командное слово. Пиковая производительность полной конфигурации системы (16 процессоров) ожидалась на уровне 10 GFLOPS, что было бы совсем неплохо. Второе направление развития советских суперЭВМ предполагало достижение более скромных показателей производительности (около 1 GFLOPS на процессор) за счет применения проверенного практикой принципа векторно-конвейерной обработки, но без копирования зарубежных суперкомпьютеров. В ИТМиВТ параллельно с VLIW-системой "Эльбрус-3" стартовал проект МКП под официальным названием "Эльбрус-3Б", который предполагалось завершить созданием системы из 2-20 процессоров, обладающей суммарной пиковой производительностью 2-10 GFLOPS. Направление разработки векторно-конвейерных суперЭВМ оригинальной структуры было выбрано и для суперкомпьютеров Единой системы. Головной институт программы "ЕС ЭВМ" - Научно- исследовательский центр электронной вычислительной техники (НИЦЭВТ) - в 1986 г. анонсировал начало проекта по созданию суперкомпьютера ЕС1191 с производительностью 1,2 GFLOPS. Хотя эта машина по своим характеристикам и уступала "Эльбрусам", но потенциально ее конструктивные особенности могли оказаться весьма привлекательными для пользователей. Во-первых, оригинальное решение системы из четырех скалярных процессоров и одного общего векторного процессора позволило значительно уменьшить занимаемый объем: вся центральная часть машины размещалась в стойке, примерно равной по габаритам распространенному мэйнфрейму ЕС1066. Во-вторых, ЕС1191 реализовывала дружественный интерфейс пользователя ЕС ЭВМ (берущий начало от ОС фирмы IBM) с применением всего разнообразия системных и прикладных програмных продуктов. И наконец, "козырной картой" ЕС1191 была воздушная система охлаждения, которая резко снижала затраты на производство и эксплуатацию машины по сравнению с жидкостным охлаждением "Эльбрусов".

Если в разработке суперкомпьютера ЕС1191 инженеры НИЦЭВТ отошли от практики повторения зарубежных прототипов, то в полном соответствии с принципом "свято место пусто не бывает" идея быстрого достижения результата за счет повторения уже пройденного пути не могла не найти своих сторонников. Коллектив специалистов под руководством академика В. А. Мельникова принялся за разработку суперЭВМ "Электроника СС БИС", которая базировалась на структурных решениях и системе команд машин CRAY. В принципе, это направление хотя и предполагает постоянное отставание от прототипа (кто-кто, а российские пользователи хорошо ощутили разрыв между машинами ЕС ЭВМ и компьютерами IBM современного уровня), но практически "обречено на успех", особенно при детальном копировании оригинала. Во всяком случае Китай получил очень неплохие суперкомпьютеры VH-1 и VH-2 за счет копирования машин CRAY-1 и CRAY X-MP.

Все суперкомпьютерные проекты советского периода использовали однотипную элементную базу - матричные большие интегральные схемы по технологии ECL (эмиттерно-связанная логика) со степенью интеграции 1500 вентилей на кристалл и быстродействием порядка 0,5 нс на вентиль. Конечно, по сравнению с современными достижениями микроэлектронной технологии эти параметры, мягко говоря, не впечатляют, но для середины 80-х годов они были "вполне на уровне" и не отставали от элементной базы японских суперкомпьютеров Fujitsu, NEC или Hitachi.

К сожалению, именно на все это наложились известные события 1991 - 1992 гг., и вместо самой внушительной порции выделенных средств суперкомпьютерные проекты получили анархию в договорных отношениях между институтами и заводами. В результате "Эльбрус-3Б" и "Электроника СС БИС" сегодня существуют в виде опытных образцов, завершение проекта "Эльбрус-3" сильно затянулось, а работы над ЕС1191 заморожены.

Правда говорить о кончине российских суперкомпьютеров пока, по- видимому, преждевременно. Дело гораздо сложнее и значительно драматичнее, чем может показаться. Во-первых, еще существуют два ведущих компьютерных центра России - ИТМиВТ и НИЦЭВТ, которые в принципе способны справиться с задачей создания суперЭВМ, плюс в обоих институтах пока сохранилось небольшое, но вполне дееспособное ядро наиболее квалифицированных специалистов. Когда в 1991 г. стало ясно, что проект ЕС1191 не удастся завершить из-за нехватки средств на изготовление опытных образцов суперкомпьютера, было принято решение о замораживании проекта и развертывании на его основе работ по созданию семейства малогабаритных суперкомпьютеров ЕС119Х.Х, использующих все архитектурные, структурные и даже большую часть схемотехнических решений ЕС1191 (в базовых моделях этого семейства используется 60 - 70% БИС, разработанных для ЕС1191). В итоге всего через год - небольшой коллектив инженеров завершил проектирование первой модели этого семейства - суперскалярной мини-суперЭВМ ЕС1195. В результате этих усилий родилась достаточно быстрая (50 MFLOPS при 256 Мбайт оперативной памяти) и весьма компактная (для ее установки требуется менее одного квадратного метра площади) машина, которая была впервые продемонстрирована на выставке "Информатика-93". Завершена разработка и началось изготовление второй базовой модели семейства ЕС119Х.Х - векторного суперкомпьютера ЕС1191.01, пиковая производительность которого составляет 500 MFLOPS. Наконец, проектируется гибридная система ЕС1191.10, объединяющая достоинства векторно-конвейерной и MPP-обработки. Ее минимальная конфигурация позволит получить производительность на уровне 2 GFLOPS. Все модели семейства ЕС119Х.Х предназначены для работы под Unix или OS/2 и сконструированы в так называемом "офисном исполнении.

Впрочем, разработчики ЕС119Х.Х отчетливо понимают, что у их детища есть "ахиллесова пята" - устаревшая элементная база (ECL-чипы со степенью интеграции 1500 вентилей на кристалл). Поэтому в развитие идей ЕС119Х.Х начались работы по созданию семейства суперкомпьютеров "АМУР" на базе КМОП-микросхем со степенью интеграции 200 тыс. вентилей на кристалл. Эта программа рассчитана на три года и должна завершиться выпуском трех базовых моделей суперкомпьютеров, позволяющих строить масштабируемые вычислительные системы с производительностью от 50 MFLOPS до 20 GFLOPS. Существенной особенностью всех базовых моделей семейства "АМУР" является использование единого комплекта из семи чипов (по сути, микропроцессоров) и размещение процессоров на одной плате, подобной "материнской" плате персонального компьютера. Естественно, что перечисленные особенности суперкомпьютеров "АМУР" означают значительное снижение затрат на производство и эксплуатацию этих машин, т.е. в конечном счете уменьшение их рыночной стоимости.

Марк сидит, широко расставив ноги, теребя галстук, а другой рукой крутя солонку. Он не заметил, что в течение последних 20 минут ноги его спутницы были скрещены и указывали на ближайший выход

Чем дальше от мозга находится часть тела, тем меньше мы осознаем ее действие. Например, большинство людей отлично представляет себе выражение собственного лица. Мы даже умеем принимать определенные выражения намеренно, скрывая за ними свои истинные мысли. Но вот движения рук и ладоней мы осознаем уже хуже. Еще хуже мы представляем себе действия груди и живота. А уж что делают наши ноги и ступни, не понимаем вовсе.

Отсюда следует вывод о том, что ноги и ступни являются важным источником информации о подлинных чувствах человека, так как большинство людей не осознает их действий и не пытается изменить их намеренно, как, например, выражение лица. Человек может выглядеть сосредоточенным и заинтересованным, но его ступня при этом будет нетерпеливо постукивать по полу или раскачиваться в воздухе, выдавая подавленность и скуку из-за невозможности сбежать.

Постукивание и покачивание ступней выдает попытку сбежать подальше от того, что происходит с человеком в данный момент.

Все говорят о новом способе ходьбы

То, как человек двигает руками при ходьбе, многое говорит о его личности или о том, каким он хочет казаться окружающим Молодые, здоровые, энергичные люди ходят быстрее пожилых. Их руки энергично взлетают вверх. Создается впечатление, что люди маршируют, что объясняется высоким темпом ходьбы и мышечной упругостью. Именно в этом и заключается цель военного марша: солдаты выглядят молодыми и полными сил. Так же ходят многие политики и публичные фигуры. Они хотят производить впечатление молодых и полных сил, чтобы привлечь к себе сердца избирателей. Вот почему многим политикам свойствен широкий, размашистый шаг. Руки женщин при ходьбе сильно забрасываются назад. Это происходит потому, что женские руки от локтя развернуты наружу, чтобы надежнее удерживать младенцев.

Ступни выдают всю правду

Мы провели ряд экспериментов, предлагая участникам сознательно лгать во время проводимых собеседований. Мы обнаружили, что люди вне зависимости от пола, говоря неправду, начинают бессознательно совершать движения ступнями. Большинство участников эксперимента сознательно изменяли выражение лиц, пытались контролировать руки, но совершенно не чувство вали, что делают их ноги и ступни. Результаты нашего эксперимента подтвердил психолог Пол Экман. Он обнаружил, что в момент лжи у людей значительно активизируется нижняя часть тела. Отсюда можно сделать вывод, что для выявления лжи следует наблюдать за всем телом человека. Вот почему многие руководители чувствуют себя комфортно, только сидя за закрытым столом, скрывающим нижнюю часть их тела.

Если вы не уверены, говорит ли человек, сидящий за столом, правду, загляните под стол.

Сидя за стеклянным столом, человек нервничает гораздо сильнее, чем за деревянным, поскольку под прозрачным стеклом видны наши ноги, и мы не чувствуем полного контроля над ситуацией.

Назначение ног

Ноги человека служат двум целям: они позволяют двигаться вперед, чтобы добывать пищу, и бежать прочь от опасности. Поскольку человеческий мозг запрограммирован на эти действия - стремиться к желаемому и бежать от нежелательного, ноги и ступни сразу же показывают, куда человек хочет направиться. Другими словами, по ногам можно понять, хочет ли человек продолжать разговор или предпочел бы уйти. Открытые или нескрещенные положения ног говорят об открытости или о стремлении к доминированию. Скрещенные ноги - это признак закрытости или неуверенности.

Если женщина не заинтересована в мужчине, она может скрестить руки на груди и развернуть скрещенные ноги от него. Заинтересованная женщина обязательно примет открытую позу и направит ноги к мужчине.

Четыре основных положения стоя

1. Внимание

Это формальное положение, демонстрирующее нейтральное отношение без намерений бежать или остаться. При общении мужчины и женщины так чаще всего стоят женщины, поскольку это позволяет им сомкнуть колени. Школьники принимают такую позу, разговаривая с учителями, младшие офицеры вытягиваются перед старшими по званию. Так стоят подданные перед королевой и подчиненные перед начальником.

Поза внимания

2. Расставленные ноги

Как уже упоминалось ранее, такая поза свойственна преимущественно мужчинам. Это своеобразный вариант демонстрации паха. В такой позе мужчина прочно стоит обеими ногами на земле, явно показывая, что не имеет желания убегать. Это сигнал мужского доминирования, поскольку при этом подчеркиваются половые органы. Мужчина в такой позе чувствует себя настоящим мачо.

Демонстрация паха - выставление напоказ своей мужественности

Демонстрация паха свойственна настоящим мачо и крутым парням

Мужчины-спортсмены часто стоят в такой позе один напротив другого во время соревнований, привлекая внимание к своей паховой области. Эта поза позволяет мужчинам подчеркнуть свою мужественность и проявить командный дух.

3. Одна нога выставлена вперед

В такой позе вес тела перенесен на одну ногу, а вторая выставлена вперед. В Средние века в такой позе часто изображали людей, занимающих высокое положение. При этом художник мог изобразить тонкие чулки и роскошную обувь, свидетельствующие о богатстве.

Одна нога выставлена вперед, носок указывает направление, куда человеку бессознательно хочется направиться

Такая поза позволяет сразу же понять намерения человека, поскольку мы обычно направляем носок туда, куда нам хотелось бы направиться. Эту позу можно расценивать как начало ходьбы. Находясь в группе, мы направляем носок в сторону наиболее интересного и привлекательного человека. Когда же нам хочется уйти, то наш носок оказывается направленным в сторону ближайшего выхода.

4. Скрещивание ног

Когда в следующий раз вы окажетесь в группе мужчин и женщин, обратите внимание на то, что некоторые из них стоят, скрестив руки и ноги. Присмотритесь, и вы заметите, что такие люди стоят несколько дальше от собеседников, чем это требуется правилами.

Если на них плащи или пиджаки, то скорее всего верхняя одежда будет застегнута. Такую позу обычно принимают в окружении малознакомых людей. Пообщавшись с такими людьми, вы обязательно убедитесь, что кто-то или все из присутствующих им незнакомы.

Если раскрытые ноги демонстрируют открытость или доминирование, ноги скрещенные выдают закрытое, подчиненное или оборонительное настроение, поскольку в такой позе закрыт любой доступ к половым органам.

Если подобные позы принимает женщина, собеседник может сделать два вывода: во-первых, она намерена остаться, а не уйти; во-вторых, доступ к ней закрыт.

Скрещивание ног в положении стоя

Когда в такой позе стоит мужчина, это означает, что он остается, но хочет быть уверенным, что вы не «пнете его в самое уязвимое место». Раскрытые ноги - демонстрация мужественности. Ноги скрещенные - защита мужественности. Если мужчина чувствует свое превосходство над собеседником, демонстрация паха будет вполне уместна. Если же он находится в обществе подавляющих его самцов, подобный жест заставит мужчину почувствовать свою уязвимость. Исследования показывают, что чаще всего скрещивают ноги те, кому недостает уверенности.

Ножницы - «Без комментариев», однако этот человек не собирается уходить

Расставленные ноги доказывают уверенность мужчины в себе, скрещенные – выдают скрытность и уязвимость

Представьте, что вы видите группу мужчин, стоящих с раскрытыми руками, в расстегнутых пиджаках. Мужчины расслаблены. Каждый выставил вперед ногу, причем носки указывают на других членов группы. Мужчины жестикулируют и постоянно вторгаются в личное пространство друг друга. Сразу становится ясно, что эти люди хорошо знакомы друг с другом. Их можно даже назвать друзьями.

Попробуйте провести небольшой эксперимент. Присоединитесь к группе незнакомцев, скрестите руки и ноги и сделайте серьезное лицо. Члены группы один за другим начнут скрещивать руки или ноги и останутся в таком положении до тех пор, пока вы, незнакомый им человек, не уйдете. Отойдите и понаблюдайте за группой. Мужчины постепенно вернутся в прежнюю позу, почувствовав себя гораздо спокойнее.

Скрещивание ног не только выдает негативное, оборонительное настроение, но еще и нарушает общее ощущение безопасности. Такой настрой сразу же ощущают все члены группы.

Поза оборонительная, замерзшая или «просто удобная»?

Некоторые люди утверждают, что скрещивают ноги вовсе не потому, что находятся в оборонительном или раздраженном состоянии. Просто им холодно. Но, пытаясь согреть руки, мы засовываем их под мышки, а не обхватываем ими локти, как при оборонительном скрещивании. Замерзнув, мы обхватываем себя, а скрещивая ноги, выпрямляем их и плотно прижимаем друг к другу. Оборонительная поза более расслабленна и спокойна.
Люди, которые часто скрещивают руки или ноги, предпочитают говорить, что они замерзли, чем признаваться в том, что они нервничают, тревожатся или беспокоятся о чем-то. Другие говорят, что им так «удобно». И при этом они, скорее всего, не кривят душой. Когда человек обеспокоен или встревожен, ему гораздо удобнее со скрещенными руками и ногами, поскольку такая поза позволяет скрыть подлинное эмоциональное состояние.

Как мы переходим из закрытой позы в открытую

По мере того, как люди начинают чувствовать себя в группе более комфортно и знакомятся с окружающими, они постепенно переходят из закрытой оборонительной позы со скрещенными руками и ногами в позу более открытую и расслабленную. Процедура «раскрытия» практически повсеместно происходит одинаково.

В начале разговора собеседники находятся в закрытой позиции со скрещенными руками и ногами (см. рисунок 1). По мере того как они узнают друг друга и начинают чувствовать себя комфортнее и спокойнее, положение их изменяется. Сначала ноги переходят в положение внимания, затем рука, находившаяся в скрещенном положении сверху, освобождается и становится видна ладонь. Рука более не используется как барьер, хотя вторая все еще остается на прежнем месте. После этого освобождается и вторая рука, которая может оказаться на бедре или в кармане. И в конце концов собеседники переходят в положение с выставленной вперед ногой, что говорит о полном взаимопонимании (см. рисунок 2).

Скрещивание ног в европе

Примерно 70% людей при скрещивании кладут левую ногу поверх правой. Это нормальное положение для жителей Европы, Азии и большинства стран, находящихся под английским влин нием.

Когда человек скрещивает и руки, и ноги, то тем самым он эмоционально отделяется от разговора. Пока ваш собеседник находится в такой позе, нет смысла убеждать его в чем-либо.

Эта женщина закрыта для любого общения

В деловой обстановке можно заметить, что люди, занимающие подобное положение, говорят более короткими предложениями, отвергают больше предложений и запоминают меньше деталей совещания, чем те, кто находится в открытой позиции.