Сборка кластерной компьютерной системы на базе стандартных комплектующих
Кластер представляет собой тип параллельной или распределенной компьютерной системы, которая состоит из связанных между собой полнофункциональных компьютеров, доступных для пользователя как один вычислительный ресурс.
Понятие "полнофункциональный компьютер" означает компьютерную систему, которая может использовать свои собственные: процессор(ы), память, устройства ввода/вывода, операционную систему, программное окружение и приложения.
преимущества предлагаемого подхода
Технологический прогресс в области высокоскоростных компьютерных сетей и увеличение производительности микропроцессоров сделали кластеры или сети рабочих станций привлекательным решением для выполнения дешевых и эффективных параллельных расчетов. Кластеры, использующие широкодоступные аппаратные и программные компоненты, играют основную роль в сегодняшнем переосмыслении концепции суперкомпьютерных вычислений.
Современные акценты параллельных вычислений смещаются со специализированных платформ, подобных SGI/Cray T3E, на более дешевые системы общего назначения, состоящие из компонентов, которые широко используются в однопроцессорных или многопроцессорных рабочих станциях и персональных компьютерах.
Предлагаемые отечественными пользователям многопроцессорные вычислительные системы среднего класса характеризует крайне невыгодное соотношение цена-производительность. Основными причинами подобной ситуации являются дороговизна технических решений, используемых для разработок многопроцессорной техники, а также высокая стоимость квалифицированной рабочей силы в западных странах. Выбор в качестве базовой платформы относительно дешевых доступных комплектующих для персональных компьютеров и сборка параллельных компьютерных систем у нас позволяет обойти главные источники увеличения себестоимости и, соответственно, конечной стоимости такой техники. Следует отметить, что выбор комплектующих для персональных компьютеров и серверов в качестве основы многопроцессорной компьютерной системы не означает невозможности достижения высоких скоростей обработки данных. Так, суперкомпьютерная система "ASCI Red", установленная в компьютерном центре Национальной лаборатории Сандия в США и показывающая самые высокие результаты по производительности, содержит 9152 таких всем хорошо известных процессора, как Intel Pentium Pro с тактовой частотой 200 МГц. В компьютерных системах компании Parsytec Gmbh давно используются стандартные материнские платы и процессоры Intel и Motorola.
реализации
Идея создания системы, способной заменить дорогие суперкомпьютеры и имеющей достаточно высокую производительность для выполнения научных расчетов, получила множество воплощений. Один из самых крупных проектов в этой области - проект Beowulf. Летом 1994 года Томас Стерлинг и Дон Беккер, работавшие в CESDIS (Center of Excellence in Space Data and Information Sciences), построили кластерную систему, состоящую из шестнадцати процессоров класса DX4, соединенных посредством сети Ethernet. Машина, получившая название Beowulf, оказалась чрезвычайно удачной и приобрела большую популярность, а идея использовать стандартные компоненты для создания производительных систем, удовлетворяющих особым требованиям по объему вычислений, быстро распространилась по NASA (в то время NASA принимала участие во многих разработках CESDIS), академическим и исследовательским сообществам. Развитие идей, положенных в основу этой машины, быстро выросло в то, что сейчас называют проектом Beowulf. Мерой успеха данного проекта может являться то, что ученые, занимающиеся высокопроизводительными вычислениями, теперь ссылаются на машины такого типа именно как на кластерные системы класса Beowulf.
Avalon
Одной из самых известных и самых мощных представительниц Beowulf-кластеров в настоящее время является кластерная система Avalon, созданная в Лабораторном центре изучения нелинейных эффектов в Лос-Аламосе. Вот лишь некоторые из технических особенностей этого кластера:
Каждый узел кластера представляет из себя отдельную рабочую станцию DEC Alpha с корпусом ATX. Станции оснащены процессорами - Alpha 21164A, работающими на частоте 533 МГц.(tm) Используемые материнские платы - DEC AlphaPC 164LX поддерживают по 256 Мбайт памяти (ECC SDRAM DIMM) на узлах. В системе используются жесткие диски - Quantum Fireball ST3.2A (EIDE U-ATA), размером 3079 Mбайт. Сетевые адаптеры производства компании Kingston используют микросхему DEC Tulip. Коммуникации внутри системы осуществляются при помощи Fast Ethernet коммутатора производства компании 3Com. Кроме этого, все узлы компьютерного кластера подключены к последовательной сети, образованной с использованием многопортовых сетевых адаптеров Cyclades Cyclom 32-YeP. На узлах вычислительного кластера установлена операционная система Linux. Выполненный для кластера параллельный тест Linpack показал производительность 19,7 Гфлоп/сек, результаты программы расчета молекулярной динамики (SPaSM) - 12,8 Гфлоп/сек, результаты программы решения гравитационных задач (gravitational treecode) - 10,0 Гфлоп/сек. Тесты NAS Class B версии 2.3 показали следующие результаты: BT - 2,2 Гфлоп/сек, SP - 1,0 Гфлоп/сек, LU - 3,5 Гфлоп/сек, MG - 2,1 Гфлоп/сек). Для сравнения этих результатов с производительностью "настоящих" параллельных машин можно сказать, что SPaSM, treecode и Linpack выполнялись примерно с той же скоростью, что и на 64-процессорном SGI Origin 2000 (частота процессоров - 195 МГц). Если учесть, что в мае 1998 цена на 64-процессорный Origin 2000 с 250 Мгц процессорами и 8 Гбайт оперативной памяти составляла около 1,8 миллиона долларов, а стоимость проекта Avalon - только 313 тысяч долларов, то представленные результаты весьма впечатляют.
Loki
Кластер Loki можно назвать "младшим братом" системы Avalon. Также как и Avalon, он был собран в Лос-Аламосской национальной лаборатории, однако в отличие от Авалона этот кластер состоит из узлов на базе процессоров Intel Pentium Pro 200 МГц с интегрированным L2 кэшем на 256 Кбайт, материнских плат Intel VS440FX (Venus) с чипсетом 82440FX (Natoma) и 128 Мбайт оперативной памяти (четыре 60 нс модуля SIMM). Узлы Loki оснащены жесткими дисками Quantum Fireball размером 3240 Мбайт, сетевыми адаптерами Fast Ethernet Cogent EM400 TX PCI Quartet и SMC EtherPower 10/100 Fast Ethernet PCI, видеокартой S3 Trio-64 1 Мбайт PCI. Каждый узел связан с четырьмя соседними посредством сетевого кабеля категории 5. Сетевая структура системы имеет вид гиперкуба. К гиперкубу подключены два коммутатора 3Com SuperStack II, которые обеспечивают связь системы с фронтальной машиной. Бесперебойное питание кластера обеспечивается устройством APC Smart-UPS 2200. Всего в системе было использовано: 16 процессоров Pentium Pro, 5 адаптеров Fast Ethernet, 2 Гбайт оперативной и 50 Гбайт дисковой памяти, 2 коммутатора Fast Ethernet. Кластер работает под управлением операционной системы Linux. Таким образом, производительность Loki в 1,2 Гфлоп/сек была получена всего за $63,000.
TopCat
Система TopCat представляет собой Beowulf-подобный кластер, созданный в Университете Южного Квинсленда. Романтичные создатели кластера разделили свой проект на четыре последовательные стадии:
Стадия I - Первые попытки.
Начало - май 1997. Общая стоимость первой системы - AU $8500. Кластер состоял из 8 узлов, один из которых был ведущим, а 7 других - ведомыми. Каждый узел системы имел процессор Intel Pentium 120, оперативную память: 64 Мбайт на ведущем узле и по 32 Мбайт на каждом ведомом. Дисковая память состояла из 4 Гбайт жестких дисков на ведущем и одном из ведомых узлов и жестких дисков размером 2,5 Гбайт на остальных узлах. Использовались сетевые адаптеры 3COM 3C900-COMBO PCI 10 MB Ethernet. Узлы работали под управлением операционной системы Red Hat Linux. В качестве дополнительного параллельного программного обеспечения использовались известные пакеты PVM, MPI, NAG и Fortran 90.
Стадия II - От кучи персональных компьютеров к Beowulf.
Начало - декабрь 1997. Стоимость всех работ - AU $15 000. Целью второй стадии было обеспечение большей производительности и минимизация времени, затрачиваемого на построение Beowulf-кластера. Полное время создания кластера - около 4 часов, была поставлена задача снизить это время до одного часа. На второй стадии система содержала 12 узлов и 16 процессоров. Ведущий узел был оснащен двумя процессорами Intel Pentium II с тактовой частотой 233 МГц. На 8 клиентских узлах работало по одному процессору Intel Pentium 120, а три оставшихся клиентских узла имели по два процессора Intel Pentium 160. Клиентские узлы системы не имели отдельных жестких дисков. Операционная система загружалась с дискет, и через NFS подключался корневой каталог. Это привело к возможности тратить на подключение нового узла к кластеру не более 3 минут.
Стадия III - За пределами кластера.
Начало - 8 апреля 1998. Цель этой стадии - позволить внешним компьютерам, т.е. машинам, не входящим в кластер, подключиться к кластеру TopCat. Такие машины (как правило, это свободные рабочие станции) должны быть загружены со специальной дискеты, после чего сервер (ведущий узел) доконфигурирует их автоматически.
Стадия IV - Сквозь тоннель.
Цель последней стадии - объединить несколько Beowulf-кластеров в один большой виртуальный кластер. Идея состоит в том, чтобы объединять кластеры с минимальными изменениями в их конфигурации. Частные сети организаций, в которых установлены такие кластеры, должны быть соединены при помощи IP-туннелирования.
Подготовлено в Центре Суперкомпьютерных Приложений Института Высокопроизводительных Вычислений и Баз Данных, Россия
обсуждение статьи
Понятие "полнофункциональный компьютер" означает компьютерную систему, которая может использовать свои собственные: процессор(ы), память, устройства ввода/вывода, операционную систему, программное окружение и приложения.
преимущества предлагаемого подхода
Технологический прогресс в области высокоскоростных компьютерных сетей и увеличение производительности микропроцессоров сделали кластеры или сети рабочих станций привлекательным решением для выполнения дешевых и эффективных параллельных расчетов. Кластеры, использующие широкодоступные аппаратные и программные компоненты, играют основную роль в сегодняшнем переосмыслении концепции суперкомпьютерных вычислений.
Современные акценты параллельных вычислений смещаются со специализированных платформ, подобных SGI/Cray T3E, на более дешевые системы общего назначения, состоящие из компонентов, которые широко используются в однопроцессорных или многопроцессорных рабочих станциях и персональных компьютерах.
Предлагаемые отечественными пользователям многопроцессорные вычислительные системы среднего класса характеризует крайне невыгодное соотношение цена-производительность. Основными причинами подобной ситуации являются дороговизна технических решений, используемых для разработок многопроцессорной техники, а также высокая стоимость квалифицированной рабочей силы в западных странах. Выбор в качестве базовой платформы относительно дешевых доступных комплектующих для персональных компьютеров и сборка параллельных компьютерных систем у нас позволяет обойти главные источники увеличения себестоимости и, соответственно, конечной стоимости такой техники. Следует отметить, что выбор комплектующих для персональных компьютеров и серверов в качестве основы многопроцессорной компьютерной системы не означает невозможности достижения высоких скоростей обработки данных. Так, суперкомпьютерная система "ASCI Red", установленная в компьютерном центре Национальной лаборатории Сандия в США и показывающая самые высокие результаты по производительности, содержит 9152 таких всем хорошо известных процессора, как Intel Pentium Pro с тактовой частотой 200 МГц. В компьютерных системах компании Parsytec Gmbh давно используются стандартные материнские платы и процессоры Intel и Motorola.
реализации
Идея создания системы, способной заменить дорогие суперкомпьютеры и имеющей достаточно высокую производительность для выполнения научных расчетов, получила множество воплощений. Один из самых крупных проектов в этой области - проект Beowulf. Летом 1994 года Томас Стерлинг и Дон Беккер, работавшие в CESDIS (Center of Excellence in Space Data and Information Sciences), построили кластерную систему, состоящую из шестнадцати процессоров класса DX4, соединенных посредством сети Ethernet. Машина, получившая название Beowulf, оказалась чрезвычайно удачной и приобрела большую популярность, а идея использовать стандартные компоненты для создания производительных систем, удовлетворяющих особым требованиям по объему вычислений, быстро распространилась по NASA (в то время NASA принимала участие во многих разработках CESDIS), академическим и исследовательским сообществам. Развитие идей, положенных в основу этой машины, быстро выросло в то, что сейчас называют проектом Beowulf. Мерой успеха данного проекта может являться то, что ученые, занимающиеся высокопроизводительными вычислениями, теперь ссылаются на машины такого типа именно как на кластерные системы класса Beowulf.
Avalon
Одной из самых известных и самых мощных представительниц Beowulf-кластеров в настоящее время является кластерная система Avalon, созданная в Лабораторном центре изучения нелинейных эффектов в Лос-Аламосе. Вот лишь некоторые из технических особенностей этого кластера:
Каждый узел кластера представляет из себя отдельную рабочую станцию DEC Alpha с корпусом ATX. Станции оснащены процессорами - Alpha 21164A, работающими на частоте 533 МГц.(tm) Используемые материнские платы - DEC AlphaPC 164LX поддерживают по 256 Мбайт памяти (ECC SDRAM DIMM) на узлах. В системе используются жесткие диски - Quantum Fireball ST3.2A (EIDE U-ATA), размером 3079 Mбайт. Сетевые адаптеры производства компании Kingston используют микросхему DEC Tulip. Коммуникации внутри системы осуществляются при помощи Fast Ethernet коммутатора производства компании 3Com. Кроме этого, все узлы компьютерного кластера подключены к последовательной сети, образованной с использованием многопортовых сетевых адаптеров Cyclades Cyclom 32-YeP. На узлах вычислительного кластера установлена операционная система Linux. Выполненный для кластера параллельный тест Linpack показал производительность 19,7 Гфлоп/сек, результаты программы расчета молекулярной динамики (SPaSM) - 12,8 Гфлоп/сек, результаты программы решения гравитационных задач (gravitational treecode) - 10,0 Гфлоп/сек. Тесты NAS Class B версии 2.3 показали следующие результаты: BT - 2,2 Гфлоп/сек, SP - 1,0 Гфлоп/сек, LU - 3,5 Гфлоп/сек, MG - 2,1 Гфлоп/сек). Для сравнения этих результатов с производительностью "настоящих" параллельных машин можно сказать, что SPaSM, treecode и Linpack выполнялись примерно с той же скоростью, что и на 64-процессорном SGI Origin 2000 (частота процессоров - 195 МГц). Если учесть, что в мае 1998 цена на 64-процессорный Origin 2000 с 250 Мгц процессорами и 8 Гбайт оперативной памяти составляла около 1,8 миллиона долларов, а стоимость проекта Avalon - только 313 тысяч долларов, то представленные результаты весьма впечатляют.
Loki
Кластер Loki можно назвать "младшим братом" системы Avalon. Также как и Avalon, он был собран в Лос-Аламосской национальной лаборатории, однако в отличие от Авалона этот кластер состоит из узлов на базе процессоров Intel Pentium Pro 200 МГц с интегрированным L2 кэшем на 256 Кбайт, материнских плат Intel VS440FX (Venus) с чипсетом 82440FX (Natoma) и 128 Мбайт оперативной памяти (четыре 60 нс модуля SIMM). Узлы Loki оснащены жесткими дисками Quantum Fireball размером 3240 Мбайт, сетевыми адаптерами Fast Ethernet Cogent EM400 TX PCI Quartet и SMC EtherPower 10/100 Fast Ethernet PCI, видеокартой S3 Trio-64 1 Мбайт PCI. Каждый узел связан с четырьмя соседними посредством сетевого кабеля категории 5. Сетевая структура системы имеет вид гиперкуба. К гиперкубу подключены два коммутатора 3Com SuperStack II, которые обеспечивают связь системы с фронтальной машиной. Бесперебойное питание кластера обеспечивается устройством APC Smart-UPS 2200. Всего в системе было использовано: 16 процессоров Pentium Pro, 5 адаптеров Fast Ethernet, 2 Гбайт оперативной и 50 Гбайт дисковой памяти, 2 коммутатора Fast Ethernet. Кластер работает под управлением операционной системы Linux. Таким образом, производительность Loki в 1,2 Гфлоп/сек была получена всего за $63,000.
TopCat
Система TopCat представляет собой Beowulf-подобный кластер, созданный в Университете Южного Квинсленда. Романтичные создатели кластера разделили свой проект на четыре последовательные стадии:
Стадия I - Первые попытки.
Начало - май 1997. Общая стоимость первой системы - AU $8500. Кластер состоял из 8 узлов, один из которых был ведущим, а 7 других - ведомыми. Каждый узел системы имел процессор Intel Pentium 120, оперативную память: 64 Мбайт на ведущем узле и по 32 Мбайт на каждом ведомом. Дисковая память состояла из 4 Гбайт жестких дисков на ведущем и одном из ведомых узлов и жестких дисков размером 2,5 Гбайт на остальных узлах. Использовались сетевые адаптеры 3COM 3C900-COMBO PCI 10 MB Ethernet. Узлы работали под управлением операционной системы Red Hat Linux. В качестве дополнительного параллельного программного обеспечения использовались известные пакеты PVM, MPI, NAG и Fortran 90.
Стадия II - От кучи персональных компьютеров к Beowulf.
Начало - декабрь 1997. Стоимость всех работ - AU $15 000. Целью второй стадии было обеспечение большей производительности и минимизация времени, затрачиваемого на построение Beowulf-кластера. Полное время создания кластера - около 4 часов, была поставлена задача снизить это время до одного часа. На второй стадии система содержала 12 узлов и 16 процессоров. Ведущий узел был оснащен двумя процессорами Intel Pentium II с тактовой частотой 233 МГц. На 8 клиентских узлах работало по одному процессору Intel Pentium 120, а три оставшихся клиентских узла имели по два процессора Intel Pentium 160. Клиентские узлы системы не имели отдельных жестких дисков. Операционная система загружалась с дискет, и через NFS подключался корневой каталог. Это привело к возможности тратить на подключение нового узла к кластеру не более 3 минут.
Стадия III - За пределами кластера.
Начало - 8 апреля 1998. Цель этой стадии - позволить внешним компьютерам, т.е. машинам, не входящим в кластер, подключиться к кластеру TopCat. Такие машины (как правило, это свободные рабочие станции) должны быть загружены со специальной дискеты, после чего сервер (ведущий узел) доконфигурирует их автоматически.
Стадия IV - Сквозь тоннель.
Цель последней стадии - объединить несколько Beowulf-кластеров в один большой виртуальный кластер. Идея состоит в том, чтобы объединять кластеры с минимальными изменениями в их конфигурации. Частные сети организаций, в которых установлены такие кластеры, должны быть соединены при помощи IP-туннелирования.
Подготовлено в Центре Суперкомпьютерных Приложений Института Высокопроизводительных Вычислений и Баз Данных, Россия
обсуждение статьи
Сетевые решения. Статья была опубликована в номере 07 за 2000 год в рубрике sysadmin
