инженерная инфраструктура центра обработки данных

Центр обработки и передачи данных (ЦОД, data centre) — сложное инженерное сооружение, предназначенное для централизованного размещения и обслуживания компьютерного и телекоммуникационного оборудования.

Существует множество внешних факторов, влияющих на качество работы вычислительных и связных ресурсов. Особенно важными и заслуживающими внимания являются негативные воздействия окружающей среды и человеческий фактор. Для предотвращения возникающих из-за этого проблем используется широкий спектр высокотехнологичных инженерных решений, формирующих сложный инженерный комплекс.

Разработаны различные решения и методики проектирования ЦОД, каждая из которых по-своему верна и обычно соответствует нормам и правилам, принятым в строительстве и телекоммуникациях. В данной статье я хочу поделиться практическим опытом, приобретенным за несколько лет строительства и эксплуатации ЦОД в Москве и других городах РФ, в том числе ЦОД Reuters.

помещение ЦОД

Идеальным для комплекса является помещение, расположенное в новом индустриальном здании, площадью из расчета 2 кв. м на один компьютерный 19-дюймовый шкаф.

Весьма нежелательны для размещения ЦОД подвалы и иные помещения, оснащенные большим количеством инженерных сооружений, которые представляют потенциальную опасность для оборудования.

Допустимая нагрузка на пол должна быть не менее 500 кг на квадратный метр, причем желательно провести экспертизу соответствия заявленной и реальной нагрузок.

cистема бесперебойного электроснабжения

ЦОД — весьма энергоемкое предприятие. Современное оборудование, смонтированное в 19- дюймовой стойке высотой 42 юнита, может потреблять до 3-4 кВт электроэнергии и выделять почти столько же тепла. Для его отвода следует установить систему кондиционирования воздуха, которая на собственные нужды потребляет до 50 % всей мощности. В результате, оборудование ЦОД обычно потребляет более киловатта электроэнергии на квадратный метр.

Систему электроснабжения следует организовывать от двух территориально разнесенных трансформаторных подстанций. Кабельные линии должны идти независимыми маршрутами, каждую необходимо подключить к "своему" трансформатору. Требуется использовать автоматы выбора резерва (АВР), осуществляющие выбор и переключение между основными и резервными линиями.

Несмотря на наличие резервированной мощности от энергетиков, желательно использовать и дизель-генераторные электростанции. В схеме
электроснабжения они располагаются после вводов с подстанций. То есть в случае полного пропадания электропитания либо несоответствия его требуемым параметрам (напряжение, частота, "чистота") осуществляется автоматический запуск ДЭС, и нагрузка переводится на них.

ДЭС, как правило, имеют запас топлива, рассчитанный на 8 часов непрерывной работы и восполняемый без их остановки. Дизельные электростанции контейнерного типа производства FG Wilson или SDMO могут непрерывно работать до 3-4 месяцев при условии налаженной поставки топлива. Далее устанавливаются источники бесперебойного питания. Это совершенно необходимое оборудование, так как наиболее опасными являются короткие скачки напряжения, длительностью 2-3с. Существуют и такие негативные факторы, наносящие существенный ущерб, как превышение напряжения, изменение частоты, гармоники, нарушение заземления, межфазовый потенциал и т. п. ИБП, работающий в режиме on-line, является идеальной гальванической развязкой, потребляющей "грязное" питание из города или от ДЭС и выдающей абсолютно чистое питание с идеальной синусоидой, частотой 50 Гц, напряжением 220-380 Вт, без лишних гармоник.

Создание такой серьезной электроустановки, как система электроснабжения ЦОД, требует основательного подхода. Проектирование и строительство выполняют специализированные проектные и монтажные организации, эксплуатация осуществляется в соответствии с нормами и правилами собственной инженерной службы компании-владельца ЦОД.

система холодоснабжения

В задачи системы холодоснабжения входит поддержание внутри ЦОД рабочей температуры в пределах от 19 до 24°С и влажности от 40 до 80%. Обычно в ЦОД среднего размера (площадь 100-200 кв. м) используются шкафные прецизионные фреоновые кондиционеры, забирающие теплый воздух сверху помещения и нагнетающие охлажденный воздух под фальшпол. Расчет хладопроизводящей мощности системы производится с коэффициентом 1, то есть на 1 кВт энергопотребления оборудования запланирован 1 кВт хладопроизводства.

Резервирование системы осуществляется по схеме N+1. Что это значит? Если нам требуется система холодоснабжения суммарным хладопроизводством 100 кВт и в распоряжении имеются шкафные фреоновые кондиционеры по 25 кВт холода, то следует установить 5 шкафов: 4 основных, производящих 100 кВт, и резервный на случай выхода из строя одного из них.

Опыт показывает, что это весьма эффективная схема, особенно если все пять шкафов связаны в единую систему управления. В данном случае программное обеспечение осуществляет ротацию роли запасного шкафа, что позволяет более эффективно расходовать ресурс системы холодоснабжения в целом.

Если же суммарное тепловыделение оборудования ЦОД превышает 150-200 кВт, причем предполагается дальнейшее пошаговое наращивание мощностей, целесообразно установить систему холодопроизводства с применением жидкого теплоносителя.

Используется следующая схема. На улице устанавливается мощный чиллер, охлаждающий хладагент на водной основе до 16°С. Охлажденный хладагент по трубопроводу циркулирует через помещение ЦОД, где через шкафные кондиционеры происходит теплоотбор воздуха. Нагретый агент возвращается в чиллер для охлаждения, круг замыкается. Хладопроизводительность чиллеров может ограничиваться лишь финансовыми возможностями — существуют машины до 5- 10 МВт холода.

19-дюймовый шкаф, полностью заполненный современным серверным оборудованием, способен выделить до 20 кВт тепла. Следует помнить, что в силу конструктивных и физических его особенностей, обычным путем практически невозможно снять более 5 кВт тепла, то есть продувая холодным воздухом из-под фальшпола.

Для решения проблемы существует несколько подходов, в частности, организация "горячих" и "холодных" коридоров. Под коридором подразумевается проход между рядами шкафов. В "горячий" коридор направляются вентиляторы, выдувающие горячий воздух из серверов, а из "холодного" забирается холодный воздух, выдуваемый из-под фальшпола через решетки. Такая схема позволяет существенно поднять КПД системы холодоснабжения.

Также требуется организовать приток свежего воздуха с улицы. Дело в том, что воздух, постоянно циркулирующий через компьютерные шкафы и кондиционеры, "выгорает" и требует обновления. Приток осуществляется через специальную установку, нагревающую и осушающую уличный воздух. Кроме того, она создает внутри ЦОД дополнительное давление, что препятствует проникновению внутрь пыли.

Для увлажнения воздуха используются парогенераторы. Сухой воздух малоэффективен для охлаждения системой холодоснабжения в силу физических принципов кондиционирования. При понижении влажности электростатический потенциал увеличивается, что может быть причиной выхода оборудования из строя.

Система холодоснабжения — сложный и тонкий механизм. Как показывает практика, это самая критичная и ненадежная составляющая комплекса ЦОД. Ее остановка на 30 минут может повлечь за собой нагрев помещения до 60-70°С, что влечет за собой выход из строя оборудования, в первую очередь, магнитных носителей.

Фальшпол является необходимым компонентом ЦОД. Под него нагнетается охлажденный воздух, под ним располагаются кабели электроснабжения и слаботочная инфраструктура. Как правило, фальшпол изготавливается из МДФ-плиток на металлической основе с ламинированным покрытием, размером 600х600 мм. Высота над уровнем пола — от 100 до 800 мм, для ЦОД наиболее оптимально 350-500 мм.

системы раннего обнаружения пожара и газового пожаротушения

Максимально эффективная система газового пожаротушения должна сработать в зачаточной фазе развития пожара, то есть когда происходит тление нагревающихся элементов или начальное воспламенение, и за время менее одной минуты потушить очаг(и) возгорания. Комплекс же предупреждения о пожаре и пожаротушения должен сообщить о потенциальной возможности возгорания намного раньше, чем придется задействовать систему тушения. Это достигается установкой большого количества высокочувствительных дымовых, оптических, химических, спектральных и прочих пожарных извещателей, увязанных в единую интеллектуальную систему оповещения о пожаре и пожаротушения, а также комплексом организационных мероприятий. В него входит постоянный визуальный осмотр оборудования, соблюдение пожарных норм и правил, а также правил эксплуатации электроустановок. Весьма эффективной является система сверхраннего оповещения о пожаре VESDA (Very Early Smoke Detection Aspirator), которая позволяет обнаружить потенциальный источник пожара задолго до его возникновения.

Существует много разновидностей огнетушащих веществ для установок автоматического пожаротушения, пригодных для тушения пожаров в компьютерных центрах. К ним относятся разнообразные газы — хладоны, инертные, углекислота. Также используется тонкодисперсная вода и порошки. В данном случае существует принцип — чем дороже решение, тем больше останется исправного работоспособного оборудования после срабатывания системы пожаротушения. Наиболее дорогими, но и наиболее лояльными к оборудованию, являются огнетушащие смеси на основе хладонов либо инертных газов.

комплексные системы безопасности

Системы видеонаблюдения и разграничения физического доступа — важнейшие атрибуты современного ЦОД.

Наиболее эффективной является система разграничения доступа на основе proximity-карт. Она состоит из сервера управления, системы контроллеров и считывателей, а также карт (ключей). Данное решение является недорогой, но эффективной мерой защиты. В комплексе с системой видеонаблюдения оно в состоянии обеспечить разумный уровень безопасности ЦОД.

На каждую обслуживаемую дверь устанавливаются считыватели карты, замок и видеокамера. Сотрудникам и клиентам по официальному запросу выдаются персональные ключи, которые являются пропуском на территорию физического периметра ЦОД. Типовые атрибуты ключа — фотография владельца, его персональные данные и название компании, в которой он работает. Ключ постоянно находится у сотрудника и обеспечивает беспрепятственный доступ в необходимые помещения. Их список и разрешенное время доступа прописываются на сервере управления при заведении учетной записи и привязке к ней конкретного ключа.

Наряду с системой разграничения физического доступа, система видеонаблюдения является обязательной частью организационно-технических мероприятий ЦОД. Она состоит из N-ого количества видеокамер, установленных так, чтобы осуществлять наблюдение практически за всем техническим помещением, входами-выходами, проходами и скрытыми площадями ЦОД. Видеоизображение поступает на мониторы службы безопасности и архивируется на цифровом носителе.

success story

Так как ЦОД компании WideXs был одним из первых, построенных в Москве, я считаю целесообразным поделиться нашим опытом в подборе помещения, дизайне, проектировании, выборе производителей, поставщиков и монтажников оборудования.

На дворе стоял 2000 г., второй год после банковского кризиса. Выбор вновь возведенных индустриальных зданий в Москве был невелик, и обнаружение нового офисно-складского комплекса "Кулон" на улице 8 Марта, я считаю, было большой удачей. Здание было возведено по европейскому проекту из современных сендвичевых материалов, высота потолков 10 м, нагрузка на пол до 4 тыс. кг на квадратный метр. Помещение оборудовано системами обнаружения пожара и пожаротушения и др.

Ранее мы пересмотрели огромное количество заброшенных заводов и подвалов офисных зданий, предлагаемых в аренду, и практически ни одно предложение не отвечало необходимым требованиям. Основными причинами отказа служили: общее состояние здания и коммуникаций, сомнительное право собственности, низкая допустимая нагрузка на пол, отсутствие электромощностей или все эти факторы одновременно.

ЦОД WideXs состоит из нескольких модульных строений, абсолютно независимых друг от друга, но расположенных в пределах одного общего помещения большой площади. Идея модульности застройки возникла под влиянием следующих факторов:
- коммерческий — принцип модульности позволяет "растянуть" инвестиции на возведение ЦОД;
- пожарная и физическая безопасность — если уж и горит один модуль, то остальные, расположенные от него на безопасном расстоянии, не затрагиваются огнем;
- принцип непрерывности бизнеса — возможность разнесения систем связи и электроснабжения ЦОД по разным модулям, что сильно увеличивает коэффициент "живучести".
В ЦОД WideXs используются хорошо зарекомендовавшие себя ИБП производства Liebert-Hiross серии HiPulse.
В качестве оборудования холодоснабжения применялись шкафные фреоновые кондиционеры производства компаний Clima Systems и Denco.

Система пожарной безопасности WideXs построена с помощью оборудования VESDA производства Autronica, a системы газового пожаротушения — на основе инертного газа Инерген.

В процессе эксплуатации ЦОД большое значение уделяется регламентирующим и организационным процедурам, соблюдение которых формирует еще один "виртуальный" уровень безопасности.
В практике нашей работы были прецеденты, когда на нескол
ько часов исчезало энергоснабжение. Системы срабатывали бесперебойно: резервные источники питания обеспечивали минимально допустимое для компьютерного оборудования время его отсутствия, ДГУ заводилась как часы. Тем не менее, мы держим это оборудование под постоянным контролем, впрочем, как и все другие службы ЦОД.



С.Б. Шуршалин, технический директор компании WideXs.


Сетевые решения. Статья была опубликована в номере 05 за 2006 год в рубрике технологии

©1999-2024 Сетевые решения