В ТГУ построен суперкомпьютерный центр мирового уровня
Компания «Т-Платформы», Институт программных систем РАН, корпорация Intel и корпорация Microsoft объявляют о завершении строительства Регионального центра коллективного пользования высокопроизводительными вычислительными ресурсами Томского государственного университета. ТГУ, старейший университет Сибири и Дальнего Востока, стал первым российским вузом, оснащенным суперкомпьютерным центром мирового уровня.
Сегодня это один из 15-ти самых современных и производительных вычислительных центров в мировой системе образования (по данным о производительности суперкомпьютеров, установленных в университетах и входящих в число 100 самых мощных компьютеров мира согласно текущей редакции суперкомпьютерного рейтинга Тор500, www.top500.org). ТГУ получил возможность создать суперкомпьютерный центр как один из победителей Всероссийского конкурса инновационных образовательных программ, проведенного в рамках Национального проекта «Образование» в 2006 году.
Вычислительный центр ТГУ оснащен суперкомпьютером «СКИФ Cyberia» на базе 566 двухъядерных процессоров Intel Xeon серии 5150, ставшим самым мощным вычислительным комплексом на территории России, СНГ и Восточной Европы, а также одним из ста мощнейших компьютеров мира. Пиковая производительность «СКИФ Cyberia» достигает 12 триллионов операций с плавающей запятой в секунду; предварительный результат системы на стандартном тесте Linpack составил 7.82 триллионов операций в секунду. «СКИФ Cyberia» построен на базе последних технологических достижений мировой суперкомпьютерной отрасли.
Суперкомпьютер ТГУ, созданный силами компании «Т-Платформы» при активной поддержке и участии специалистов ИПС РАН, является отечественной разработкой, не использующей готовые платформенные решения от ведущих мировых производителей. Сегодняшний успех российских разработчиков — результат их участия в российско-белорусской государственной суперкомпьютерной программе «СКИФ», осуществленной в 2000 – 2004 г.г. и завершившейся строительством 288-узлового кластера «СКИФ К-1000».
Основу суперкомпьютерного комплекса «СКИФ Cyberia» составляет вычислительный кластер на базе 282 вычислительных и 1 управляющего узла в конструктиве 1U на базе 566 двухъядерных процессоров Intel Xeon 5150. Благодаря технологиям Intel мощность нового «СКИФ»а по сравнению со «СКИФ К-1000» выросла в 5 раз, при чем количество использованных вычислительных узлов и энергопотребление кластера остались на прежнем уровне.
При разработке платформы для вычислительного узла «СКИФ Cyberia» инженеры «Т-Платформы» использовали технологии термодизайна, полученные в ходе реализации программы «СКИФ» и доказавшие свою надежность. Вычислительный узел базируется на специально модифицированной материнской плате: для достижения наилучшей производительности вычислительных задач стандартный серверный набор микросхем заменили на чипсет Intel 5000x, обычно применяющийся для строительства графических станций. Максимально высокий уровень производительности пользовательских приложений также призваны обеспечить впервые примененные в России технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Система хранения данных «СКИФ Cyberia», разработанная специально для кластерных систем, обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Уникальная особенность выбранного решения – великолепная масштабируемость: при подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Комфортный мониторинг и управление кластером обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.
Помимо стандартного набора управляющего и системного ПО «СКИФ Cyberia» использует новую операционную систему Microsoft Windows Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны облегчить и ускорить процесс создания приложений для высокопроизводительных вычислений.
Система бесперебойного электропитания «СКИФ Cyberia» с максимальной мощностью 160 кВт обеспечивает подачу напряжения с заданными характеристиками на все компоненты вычислительной системы, а также защиту от сбоев в подаче электропитания. Она способна обеспечить работу суперкомпьютера в течение 10 минут после отключения электропитания, что позволяет гарантировать сохранность пользовательских данных в аварийной ситуации.
Модульное строение системы позволяет использовать внутреннее резервирование и горячую замену компонентов в процессе работы. Уникальные для российской суперкомпьютерной отрасли технологии были использованы для строительства системы охлаждения «СКИФ Cyberia». Применение традиционного воздушного охлаждения оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Для обеспечения надежной работы оборудования в таких условиях инженерами «Т-Платформы» была спроектирована смешанная воздушно-водяная система охлаждения с уровнем резервирования N+1 на всех уровнях.
Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем горячий воздух охлаждается водой в теплообменниках и подается холодным с передней стороны вычислительных стоек. Нагретая вода охлаждается фреоном в холодильных установках, конденсаторы которых располагаются на крыше вычислительного центра.
Технические характеристики суперкомпьютера «СКИФ Cyberia»:
Число вычислительных узлов/процессоров 283/566 (1132 ядра).
Конструктив узла 1U.
Кличество монтажных шкафов вычислительного кластера 8.
Тип процессора двухъядерный Intel Xeon 5150, 2,66 ГГц.
Пиковая производительность 12 Тфлопс.
Производительность на тесте Linpack 7.8 Тфлопс, 65 % от пиковой (предварительный результат).
Цена/пиковая производительность 158K USD/1 TFlops.
Тип системной сети QLogic InfiniPath.
Скорость передачи сообщений между узлами не менее 950 Мб/сек.
Задержка при передаче пакетов данных не более 2.5 мкс.
Тип управляющей (вспомогательной) сети Gigabit Ethernet.
Тип сервисной сети СКИФ-ServNet.
Оперативная память 1.1 Тб.
Дисковая память узлов 22.5 Тб.
Тип системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Объем системы хранения данных 10 Тб.
Занимаемая площадь 72 кв.м.
Потребляемая мощность вычислительного кластера 90 кВт.
Потребляемая мощность установки в целом 115 кВт.
Вес установки 16 т.
Суммарная длина кабельных соединений более 2км.
Система бесперебойного электропитания:
Тип оn-line.
Исполнение модульное.
Максимальная установленная мощность 120 кВт.
Количество монтажных шкафов 6.
Максимальная мощность 160 кВт.
Резервирование N+1, «горячая замена» компонентов.
Климатическая система:
Тип модульная внутрирядная.
Холодопроизводительность 96 кВт.
Резервирование N+1.
Теплоноситель внешнего контура охлаждения фреон.
Теплоноситель внутреннего контура охлаждения вода.
Количество рядных кондиционеров 7.
Количество холодильных машин 3.
Распределение охлаждающей воды центральный коллектор.
Сегодня это один из 15-ти самых современных и производительных вычислительных центров в мировой системе образования (по данным о производительности суперкомпьютеров, установленных в университетах и входящих в число 100 самых мощных компьютеров мира согласно текущей редакции суперкомпьютерного рейтинга Тор500, www.top500.org). ТГУ получил возможность создать суперкомпьютерный центр как один из победителей Всероссийского конкурса инновационных образовательных программ, проведенного в рамках Национального проекта «Образование» в 2006 году.
Вычислительный центр ТГУ оснащен суперкомпьютером «СКИФ Cyberia» на базе 566 двухъядерных процессоров Intel Xeon серии 5150, ставшим самым мощным вычислительным комплексом на территории России, СНГ и Восточной Европы, а также одним из ста мощнейших компьютеров мира. Пиковая производительность «СКИФ Cyberia» достигает 12 триллионов операций с плавающей запятой в секунду; предварительный результат системы на стандартном тесте Linpack составил 7.82 триллионов операций в секунду. «СКИФ Cyberia» построен на базе последних технологических достижений мировой суперкомпьютерной отрасли.
Суперкомпьютер ТГУ, созданный силами компании «Т-Платформы» при активной поддержке и участии специалистов ИПС РАН, является отечественной разработкой, не использующей готовые платформенные решения от ведущих мировых производителей. Сегодняшний успех российских разработчиков — результат их участия в российско-белорусской государственной суперкомпьютерной программе «СКИФ», осуществленной в 2000 – 2004 г.г. и завершившейся строительством 288-узлового кластера «СКИФ К-1000».
Основу суперкомпьютерного комплекса «СКИФ Cyberia» составляет вычислительный кластер на базе 282 вычислительных и 1 управляющего узла в конструктиве 1U на базе 566 двухъядерных процессоров Intel Xeon 5150. Благодаря технологиям Intel мощность нового «СКИФ»а по сравнению со «СКИФ К-1000» выросла в 5 раз, при чем количество использованных вычислительных узлов и энергопотребление кластера остались на прежнем уровне.
При разработке платформы для вычислительного узла «СКИФ Cyberia» инженеры «Т-Платформы» использовали технологии термодизайна, полученные в ходе реализации программы «СКИФ» и доказавшие свою надежность. Вычислительный узел базируется на специально модифицированной материнской плате: для достижения наилучшей производительности вычислительных задач стандартный серверный набор микросхем заменили на чипсет Intel 5000x, обычно применяющийся для строительства графических станций. Максимально высокий уровень производительности пользовательских приложений также призваны обеспечить впервые примененные в России технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Система хранения данных «СКИФ Cyberia», разработанная специально для кластерных систем, обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Уникальная особенность выбранного решения – великолепная масштабируемость: при подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Комфортный мониторинг и управление кластером обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.
Помимо стандартного набора управляющего и системного ПО «СКИФ Cyberia» использует новую операционную систему Microsoft Windows Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны облегчить и ускорить процесс создания приложений для высокопроизводительных вычислений.
Система бесперебойного электропитания «СКИФ Cyberia» с максимальной мощностью 160 кВт обеспечивает подачу напряжения с заданными характеристиками на все компоненты вычислительной системы, а также защиту от сбоев в подаче электропитания. Она способна обеспечить работу суперкомпьютера в течение 10 минут после отключения электропитания, что позволяет гарантировать сохранность пользовательских данных в аварийной ситуации.
Модульное строение системы позволяет использовать внутреннее резервирование и горячую замену компонентов в процессе работы. Уникальные для российской суперкомпьютерной отрасли технологии были использованы для строительства системы охлаждения «СКИФ Cyberia». Применение традиционного воздушного охлаждения оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Для обеспечения надежной работы оборудования в таких условиях инженерами «Т-Платформы» была спроектирована смешанная воздушно-водяная система охлаждения с уровнем резервирования N+1 на всех уровнях.
Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем горячий воздух охлаждается водой в теплообменниках и подается холодным с передней стороны вычислительных стоек. Нагретая вода охлаждается фреоном в холодильных установках, конденсаторы которых располагаются на крыше вычислительного центра.
Технические характеристики суперкомпьютера «СКИФ Cyberia»:
Число вычислительных узлов/процессоров 283/566 (1132 ядра).
Конструктив узла 1U.
Кличество монтажных шкафов вычислительного кластера 8.
Тип процессора двухъядерный Intel Xeon 5150, 2,66 ГГц.
Пиковая производительность 12 Тфлопс.
Производительность на тесте Linpack 7.8 Тфлопс, 65 % от пиковой (предварительный результат).
Цена/пиковая производительность 158K USD/1 TFlops.
Тип системной сети QLogic InfiniPath.
Скорость передачи сообщений между узлами не менее 950 Мб/сек.
Задержка при передаче пакетов данных не более 2.5 мкс.
Тип управляющей (вспомогательной) сети Gigabit Ethernet.
Тип сервисной сети СКИФ-ServNet.
Оперативная память 1.1 Тб.
Дисковая память узлов 22.5 Тб.
Тип системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Объем системы хранения данных 10 Тб.
Занимаемая площадь 72 кв.м.
Потребляемая мощность вычислительного кластера 90 кВт.
Потребляемая мощность установки в целом 115 кВт.
Вес установки 16 т.
Суммарная длина кабельных соединений более 2км.
Система бесперебойного электропитания:
Тип оn-line.
Исполнение модульное.
Максимальная установленная мощность 120 кВт.
Количество монтажных шкафов 6.
Максимальная мощность 160 кВт.
Резервирование N+1, «горячая замена» компонентов.
Климатическая система:
Тип модульная внутрирядная.
Холодопроизводительность 96 кВт.
Резервирование N+1.
Теплоноситель внешнего контура охлаждения фреон.
Теплоноситель внутреннего контура охлаждения вода.
Количество рядных кондиционеров 7.
Количество холодильных машин 3.
Распределение охлаждающей воды центральный коллектор.
