НПО "Сатурн". Построение вычислительного кластера
Краткое описание проекта: с целью увеличения производительности расчетов при проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации компания КРОК совместно со специалистами IBM внедрила в НПО "Сатурн" вычислительный комплекс для параллельных вычислений на базе высокопроизводительного и масштабируемого кластера IBM eServer Cluster 1350 под управлением Linux на процессорах Intel Xeon и Intel Itanium 2 с межузловым соединением Infiniband. На сегодняшний день проект по установке кластера в НПО "Сатурн" является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и других странах СНГ.
Предпосылки проекта
Современный рынок предъявляет жесткие требования к срокам и стоимости проектирования новых авиационных двигателей. Основной путь снижения этих затрат - точный расчет параметров и моделирование конструкции на всех этапах разработки. Поэтому, высокопроизводительные вычислительные системы становятся ключевым элементом бизнеса любой компании, работающей на рынке газотурбинных двигателей. В процессе проектирования инженеры НПО "Сатурн" широко используют коммерческие программные системы и пакеты собственной разработки для аэродинамических, тепловых, акустических и прочностных расчетов. В 2004 году в рамках реализации стратегии развития информационных технологий была поставлена цель - увеличить пропускную способность имеющихся вычислительных систем в 50 раз. Поскольку применяемые при проектировании программные пакеты для технических расчетов ANSYS, CFX, CFX TASCflow и LS-DYNA могут быть использованы в вычислительных средах с высоким параллелизмом, было принято решение о создании многоузлового вычислительного кластера. Основываясь на международном опыте применения подобных кластеров, специалисты НПО Сатурн планировали увеличить производительность расчетов до требуемого уровня. Работы по созданию вычислительного кластера начались в июне 2005 года компанией КРОК, которая выиграла тендер в конце 2004 года.
Решение
Решение, предложенное специалистами компаний IBM и КРОК, реализовано на базе вычислительного кластера IBM eServer Cluster 1350, который включает в себя 64 узла IBM eServer xSeries 336 с двумя процессорами Intel Xeon с технологией Intel EM64T и два мастер-узла IBM eServer xSeries 455 на базе четырех процессоров Intel Itanium 2. В качестве межузлового соединения используется оборудование стандарта Infiniband, которое обеспечивает низкую задержку при передаче сообщений между узлами и скорость передачи данных до 10Гбит. Для доступа к данным используется параллельная файловая система General Parallel File System (GPFS), созданная IBM специально для использования в вычислительных кластерах. Управление кластером производится с помощью ПО IBM Cluster Systems Management (CSM). Это ПО отвечает за централизованное управление кластером серверов IBM eServer xSeries под управлением Linux, упрощает управление и облегчает вертикальное масштабирование.
Кластер IBM eServer Cluster 1350 - высокопроизводительная система, являющаяся готовым решением "под ключ" на основе серверов стандартной Intel-архитектуры, обладающая значительной масштабируемостью, при разработке которой был использован огромный опыт разработки суперкомпьютеров и вычислительных кластеров IBM. Кластеры IBM eServer Cluster 1350 состоят из компонентов IBM и других производителей, и IBM гарантирует работоспособность всех компонентов, обеспечивая единую точку контакта по всем проблемам.
Cогласно требованию заказчика, в состав комплекса входит система хранения данных и управляющий сервер. Система хранения данных построена по иерархическому принципу, что позволяет оптимизировать расходы на хранение данных. Она состоит из трех уровней разной производительности и емкости. В качестве уровня наибольшей производительности используется дисковый массив IBM TotalStorage DS400 емкостью 2 ТБ; второй уровень промежуточной производительности реализован на дисковом массиве IBM TotalStorage DS4100 емкостью 4 ТБ; для хранения редко используемых файлов применяется третий уровень на базе ленточной библиотеки IBM 3583 с четырьмя приводами LTO2. Все использованные устройства имеют интерфейс Fibre Channel и объединены в резервированную сеть хранения данных (SAN). В качестве ПО для организации иерархического хранилища используется HSM-решение IBM Tivoli Storage Manager for Space Management. (Hierarchical Storage Management, HSM - управление иерархическими СХД). С помощью Tivoli Storage Manager обеспечено резервное копирование данных на ленточную библиотеку IBM 3583.
Компания КРОК также спроектировала и реализовала необходимый комплекс инженерных систем, который включает систему кондиционирования и систему энергоснабжения.
Программное обеспечение:
IBM Cluster Systems Management (IBM CSM);
IBM General Parallel File System (IBM GPFS);
IBM Tivoli Storage Manager;
IBM Tivoli Storage Manager for Space Management.
Аппаратное обеспечение:
IBM eServer Cluster 1350 на базе серверов с процессорами Intel(r) Xeon(tm) с технологией Intel EM64T и Intel Itanium 2;
дисковый массив на SCSI-дисках IBM TotalStorage DS400;
дисковый массив на SATA-дисках IBM TotalStorage DS4100;
ленточная библиотека IBM 3583 с 4 приводами LTO2.
Этапы проекта
Реализация решения по созданию многоузлового вычислительного кластера предполагала проведение предварительного исследования вариантов внедрения системы с целью выбора наилучшей архитектуры. Поэтому на первом этапе проекта группа специалистов НПО "Сатурн", компании КРОК, российские и зарубежные специалисты IBM при участии компании Intel организовали предпроектное тестирование вычислительного комплекса. В частности, был проведен тестовый запуск используемых программных пакетов на вычислительных системах различной архитектуры в Центре компетенции IBM в Монпелье, Франция. В процессе исследования рассматривались кластеры для параллельных вычислений на базе серверов IBM eServer xSeries и вычислительные SMP-системы архитектуры IBM eServer p5.
В рамках основных этапов проекта специалисты компаний КРОК и IBM выполнили поставку всех компонентов кластера, провели работы по монтажу системы, инсталляции операционной системы Linux, настройке вычислительных узлов и программного обеспечения IBM CSM и GPFS. Кроме того, КРОК выполнил работы по развертыванию иерархической системы хранения данных и системы резервного копирования.
В рамках подготовки к запуску кластера в опытную эксплуатацию сотрудники НПО "Сатурн" прошли обучение по системе управления данными в учебном центре IBM.
В июне - июле 2005 года были завершены все основные этапы проекта. В августе будет окончена тонкая настройка кластера и начнется опытная эксплуатация кластерной системы.
Результат
Созданная в НПО "Сатурн" вычислительная система позволяет в десятки раз сократить время научных и технических расчетов при проектировании авиационных двигателей. Реализованное решение является масштабируемым и тиражируемым, что позволяет легко наращивать производительность уже существующей системы и без труда устанавливать новые вычислительные комплексы.
Предпосылки проекта
Современный рынок предъявляет жесткие требования к срокам и стоимости проектирования новых авиационных двигателей. Основной путь снижения этих затрат - точный расчет параметров и моделирование конструкции на всех этапах разработки. Поэтому, высокопроизводительные вычислительные системы становятся ключевым элементом бизнеса любой компании, работающей на рынке газотурбинных двигателей. В процессе проектирования инженеры НПО "Сатурн" широко используют коммерческие программные системы и пакеты собственной разработки для аэродинамических, тепловых, акустических и прочностных расчетов. В 2004 году в рамках реализации стратегии развития информационных технологий была поставлена цель - увеличить пропускную способность имеющихся вычислительных систем в 50 раз. Поскольку применяемые при проектировании программные пакеты для технических расчетов ANSYS, CFX, CFX TASCflow и LS-DYNA могут быть использованы в вычислительных средах с высоким параллелизмом, было принято решение о создании многоузлового вычислительного кластера. Основываясь на международном опыте применения подобных кластеров, специалисты НПО Сатурн планировали увеличить производительность расчетов до требуемого уровня. Работы по созданию вычислительного кластера начались в июне 2005 года компанией КРОК, которая выиграла тендер в конце 2004 года.
Решение
Решение, предложенное специалистами компаний IBM и КРОК, реализовано на базе вычислительного кластера IBM eServer Cluster 1350, который включает в себя 64 узла IBM eServer xSeries 336 с двумя процессорами Intel Xeon с технологией Intel EM64T и два мастер-узла IBM eServer xSeries 455 на базе четырех процессоров Intel Itanium 2. В качестве межузлового соединения используется оборудование стандарта Infiniband, которое обеспечивает низкую задержку при передаче сообщений между узлами и скорость передачи данных до 10Гбит. Для доступа к данным используется параллельная файловая система General Parallel File System (GPFS), созданная IBM специально для использования в вычислительных кластерах. Управление кластером производится с помощью ПО IBM Cluster Systems Management (CSM). Это ПО отвечает за централизованное управление кластером серверов IBM eServer xSeries под управлением Linux, упрощает управление и облегчает вертикальное масштабирование.
Кластер IBM eServer Cluster 1350 - высокопроизводительная система, являющаяся готовым решением "под ключ" на основе серверов стандартной Intel-архитектуры, обладающая значительной масштабируемостью, при разработке которой был использован огромный опыт разработки суперкомпьютеров и вычислительных кластеров IBM. Кластеры IBM eServer Cluster 1350 состоят из компонентов IBM и других производителей, и IBM гарантирует работоспособность всех компонентов, обеспечивая единую точку контакта по всем проблемам.
Cогласно требованию заказчика, в состав комплекса входит система хранения данных и управляющий сервер. Система хранения данных построена по иерархическому принципу, что позволяет оптимизировать расходы на хранение данных. Она состоит из трех уровней разной производительности и емкости. В качестве уровня наибольшей производительности используется дисковый массив IBM TotalStorage DS400 емкостью 2 ТБ; второй уровень промежуточной производительности реализован на дисковом массиве IBM TotalStorage DS4100 емкостью 4 ТБ; для хранения редко используемых файлов применяется третий уровень на базе ленточной библиотеки IBM 3583 с четырьмя приводами LTO2. Все использованные устройства имеют интерфейс Fibre Channel и объединены в резервированную сеть хранения данных (SAN). В качестве ПО для организации иерархического хранилища используется HSM-решение IBM Tivoli Storage Manager for Space Management. (Hierarchical Storage Management, HSM - управление иерархическими СХД). С помощью Tivoli Storage Manager обеспечено резервное копирование данных на ленточную библиотеку IBM 3583.
Компания КРОК также спроектировала и реализовала необходимый комплекс инженерных систем, который включает систему кондиционирования и систему энергоснабжения.
Программное обеспечение:
IBM Cluster Systems Management (IBM CSM);
IBM General Parallel File System (IBM GPFS);
IBM Tivoli Storage Manager;
IBM Tivoli Storage Manager for Space Management.
Аппаратное обеспечение:
IBM eServer Cluster 1350 на базе серверов с процессорами Intel(r) Xeon(tm) с технологией Intel EM64T и Intel Itanium 2;
дисковый массив на SCSI-дисках IBM TotalStorage DS400;
дисковый массив на SATA-дисках IBM TotalStorage DS4100;
ленточная библиотека IBM 3583 с 4 приводами LTO2.
Этапы проекта
Реализация решения по созданию многоузлового вычислительного кластера предполагала проведение предварительного исследования вариантов внедрения системы с целью выбора наилучшей архитектуры. Поэтому на первом этапе проекта группа специалистов НПО "Сатурн", компании КРОК, российские и зарубежные специалисты IBM при участии компании Intel организовали предпроектное тестирование вычислительного комплекса. В частности, был проведен тестовый запуск используемых программных пакетов на вычислительных системах различной архитектуры в Центре компетенции IBM в Монпелье, Франция. В процессе исследования рассматривались кластеры для параллельных вычислений на базе серверов IBM eServer xSeries и вычислительные SMP-системы архитектуры IBM eServer p5.
В рамках основных этапов проекта специалисты компаний КРОК и IBM выполнили поставку всех компонентов кластера, провели работы по монтажу системы, инсталляции операционной системы Linux, настройке вычислительных узлов и программного обеспечения IBM CSM и GPFS. Кроме того, КРОК выполнил работы по развертыванию иерархической системы хранения данных и системы резервного копирования.
В рамках подготовки к запуску кластера в опытную эксплуатацию сотрудники НПО "Сатурн" прошли обучение по системе управления данными в учебном центре IBM.
В июне - июле 2005 года были завершены все основные этапы проекта. В августе будет окончена тонкая настройка кластера и начнется опытная эксплуатация кластерной системы.
Результат
Созданная в НПО "Сатурн" вычислительная система позволяет в десятки раз сократить время научных и технических расчетов при проектировании авиационных двигателей. Реализованное решение является масштабируемым и тиражируемым, что позволяет легко наращивать производительность уже существующей системы и без труда устанавливать новые вычислительные комплексы.
