строительство СКС своими силами: как это было?

Статья, которую мы предлагаем вашему вниманию, описывает совершенно реальную историю построения СКС на достаточно крупном российском предприятии. В отличии от «эталонных» историй, которые в избытке можно встретить в книгах, рекламно-информационных проспектах производителей железа и «умных» статьях в глянцевых отраслевых журналах, здесь правдиво описаны жизненные реалии, с которыми можно столкнуться при реализации такого рода проекта. И хотя практика показывает, что человек все равно в конечном итоге пройдется по всем граблям сам, пока не наберет достаточно опыта, может быть эта статья поможет вам избежать на практике хоть некоторых типичных ошибок.
Важное замечание для «заинтересованных сторон» (поставщиков оборудования и ПО) – да, в статье попадаются нелестные отзывы о некоторых брэндах, и уверяю вас – черный PR здесь абсолютно не при чем :) Мы могли бы, конечно, вырезать «спорные» места, но раз уж решили делать Reality Show, то давайте оставим все as is... собственно, как это БЫЛО. На вопросы, что именно не понравилось в том или ином продукте и замечания, что «у нас это тоже давно реализовано», думаю, охотно ответят ребята из «Новосибирскэнерго», главные персонажи истории и авторы этой замечательной статьи.

с чего все начиналось

Надо сказать, что нам повезло - удалось на собственной шкуре испытать все прелести реализации большого проекта. Как-никак, сдавалось новое здание: три корпуса, один из них восемь этажей и два других, по четыре. И разместиться там должно было около трехсот рабочих мест (компьютеризированных, естественно). Очень кстати подвернулись курсы фирмы AESP по проектированию и монтажу структурированных кабельных систем.
То, что здание строится, возможно, для Энергосбыта, было известно за несколько месяцев. Однако слухи ходили разные: то для нас, то для головной конторы - Новосибирскэнерго. Наши соображения по поводу того, что чем раньше начнется проектирование - тем лучше, в расчет не принимались из-за неясности ситуации. Естественно, при таком раскладе у руководства и другой головной боли хватало. Команда начать проектирование поступила в конце декабря 2002 года. До этого, еще в июне, когда прошел очередной слух, что здание все-таки передадут нам, мы пытались в инициативном порядке добиться хотя бы разрешения сделать что-то вроде эскизного проекта.
Дело облегчилось тем, что Российское представительство фирмы AESP Inc. в середине ноября организовало в Новосибирске курсы под названием "Структурированная кабельная система Signamax". Руководство предприятия моментально выделило деньги на обучение двух сотрудников. Несомненно, AESP таким способом продвигало свои компоненты на российский рынок, но знания, полученные на этих курсах, оказались очень полезными, как, в прочем, и знания, полученные, скажем, на курсах AMP (Tyco Electronics) "Инсталляция кабельных систем AMP Netconnect".
Далее следовало убедить руководство предприятия в том, что новую сеть (читай: информационную кабельную систему здания) следует создавать в соответствии с принципами, декларированными международными стандартами. Много было исписано бумаги с изложением доводов в пользу СКС, начиная от технических вопросов и заканчивая вопросами административными. Тут нам опять помогли курсы AESP, где, в ходе тестирования, нам преподали краткий курс маркетинга ;-), точнее - на примерах показали, почему СКС выгоднее "классической" сети и как скоро она себя окупит. Забегая вперед скажу, что последние тезисы - святая правда.
Далее мы уперлись в сроки выполнения работ и в организационные проблемы. Вы знаете, сколько стоит проект у стороннего разработчика? А знаете, сколько стоит монтаж одного порта у то же самого стороннего исполнителя? И во сколько в результате обойдется проект? Поинтересуйтесь. Возник законный вопрос: кто будет делать проект и вести монтаж? Привлекать сторонние организации - дорого, сроки, конечно, можно посчитать, норма для больших проектов составляет в среднем 1-2 порта на монтажника в день.
Вот и получается, что и проектирование, и монтаж выгоднее вести своими силами, благо квалифицированные специалисты имеются. Но у специалистов есть еще и должностные обязанности, которые нужно выполнять в рабочее время. Поступило предложение: давайте сделаем все это, за исключением проекта, в нерабочее время, по выходным. Проект, ладно, будет делаться как основная работа. А оплата за монтажные работы - как за сверхурочные плюс премия по итогам работ.
Собственно, дальше и началась работа: поиски планов здания, формирование бригады, прикидки графиков работ, оценка стоимости этапов и прочее, и прочее.

трудности

Не обошлось без накладок. Мы (отдел информационных и телекоммуникационных систем, а точнее, четыре группы - администраторов сети, технической поддержки, АСКУЭ и группа связи - те, кто умеет работать руками) получили разрешение начать работы только за три месяца до сдачи здания, когда выяснилось, что поставить три сотни компьютеров и полтысячи телефонных аппаратов можно, только подключить их будет некуда :-).
Несомненно, желательно избегать штурмов и цейтнотов. Будет запас времени - значит, будет и возможность лишний раз посетить объект, еще раз тщательно пересчитать количество портов и длины кабелей. Даже внести в проект кардинальные изменения - например, изменить расположение межэтажных кабельных каналов. Что, в прочем, и пришлось потом делать...
К тому времени у нас был достаточный опыт в создании и эксплуатации кабельных систем (в основном, вычислительных сетей). Первая сеть в Энергосбыте (в его старом здании) строилась с 1994 года на коаксиальном кабеле. В 1996 г. был проложен первый сегмент на витой паре. Ну а дальше сеть развивалась по "классической" для России того времени схеме: новый компьютер -> новое рабочее место -> новая кабельная линия -> новая розетка на стене... В год по 2-5 км. кабеля, протаскивание его по переполненным каналам (где проложена и телефонная сеть, и сигнализация, и прочее, совсем непонятное, что, тем не менее, не дай Бог оборвать). А потом за всем этим безобразием еще надо следить и ухаживать. Так что стандарты ISO-11801 и TIA/EIA-568 мы восприняли с энтузиазмом.
Руководство по вполне понятным причинам стремится к тому, чтобы проект обошелся как можно дешевле, был реализован как можно быстрее и как можно меньшими силами. Как известно, это идеал, и, как любой идеал, недостижим. Приходится доказывать, что сделать именно так, как ты предлагаешь - единственно правильно, и бороться за каждый лишний порт. Хотя от общей стоимости сети (только вычислительной) затраты на кабельную систему составляют 3-7% (посчитайте, сколько стоят компьютеры, серверы, коммутаторы-маршрутизаторы, программное обеспечение всего этого, да плюс нажитые непосильным трудом данные...).

проектирование

Стадия проектирования длилась примерно месяц - весьма ограниченный срок для проекта такого масштаба, да еще силами лишь двоих. Делали все как положено: архитектурная часть, общая схема сети, место для главного коммутационного центра, места размещения этажных центров, кабельные трассы - магистральные и горизонтальные... Выбор компонентов был отдельной песней. Надо было, как обычно, соблюсти баланс между качеством и ценой. В конце концов, остановились на компонентах Molex Premise Networks для горизонтальной подсистемы (медный кабель cat. 5e, абонентские розетки, патч-панели, органайзеры, панели типа 110, модули KATT, инструмент); для магистралей использовали продукцию AESP (компоненты СКС Signamax, волоконно-оптический кабель, медный 4-парный cat. 5e в "негорючей" оболочке для межэтажных переходов, 25-парный телефонный, компоненты для оптики).
Веселое было время... Такой объем работы провернули в нереальные сроки, при этом выполняя обычные обязанности - никто ведь от основной работы не освобождал. Здание излазили от подвала до чердака раз пятьдесят, со строителями стали на "ты". И тем не менее изменения в проект приходилось вносить и потом, уже во время монтажа.
Из-за ограниченных сроков как раз и получилась каша с компонентами от разных производителей - у представителей Molex'а, например, срок поставки 25-парного кабеля оказался чуть-ли не полгода, а нужного по проекту волоконно-оптического кабеля по каким-то причинам вообще под рукой не оказалось.
Как уже говорилось, проектные работы начали (как нас учили, как написано в книгах) с архитектурной части. Это подразумевает, кроме всего прочего (а прочего достаточно много, прежде всего - добыть планы этажей всех корпусов, перевести их в электронный вид - потом будет проще работать, планы см. на рис. 2-3), многократное исследование помещений "объекта" с целью уяснить: вот здесь мы поставим (если разрешат) монтажный шкаф, который будет этажным коммутационным центром, а здесь - попросим строителей организовать межэтажные кабельные каналы (если согласятся). Затем перенос этого на бумагу (электронную), прикидки: где разместить серверную (она же Главный Коммутационный Центр) - вторая Главная задача, где - этажные центры - третья Главная задача, где - межэтажные кабельные каналы (вот это - Самое Главное, по нашему опыту).

На счет "разрешат" и "согласятся" замечание отнюдь не праздное. То, что вы планируете занять под Большую Серверную Комнату, она же Главный Коммутационный Центр здания, может оказаться по другим планам подсобным помещением, например, архива. Когда мы пришли с требованием выделить комнату под серверную, да еще и "площади не менее, чем...", мы встретили, мягко говоря, непонимание. И снова пришлось доказывать, что серверная должна быть достаточно большой, что в ней должен быть особый тепловой режим (отдельная история, которая будет изложена далее), что от нее по всем трем корпусам должны расходиться кабельные каналы, в которых будет лежать "вот такой" жгут кабелей, и потому ее нельзя устраивать в пристройке к гаражу...
Конечно, мы опоздали. Как пишут умные люди, монтаж кабельной системы в помещениях надо начинать до того, как будут смонтированы подвесные потолки и наклеены обои. Мы пришли искать места для "дырок" между этажами, когда два корпуса уже были отделаны (за исключением полов на лестничных площадках), а в третьем, самом большом, отделочные работы были в разгаре. То есть в более чем половине помещений были смонтированы гипсокартонные стеновые панели и подвесные потолки. Посему кабельную проводку в помещениях решено было вести в декоративном пластиковом коробе. Лишь в малой части помещений, где внешний вид был критичен, делали скрытую проводку. В коридорах - мы успели! - строители смонтировали для СКС выше уровня подвесных потолков металлические перфорированные лотки (рис. 4).



Да, довелось не раз услышать от строителей/отделочников: "Ребята, чего бы вам на месяц раньше не появиться? Мы уже тут заделали/покрасили/закрыли... Да хоть на неделю бы раньше - мы бы и дыры легко пробили, и наши электрики ваш кабель вместе со свом протащили бы..." - хотя последнее для информационной слаботочки - лишнее. Но, отдадим должное, по возможности шли навстречу (опять оговорка - за отдельные деньги. "Мы это сделаем, но в смету, конечно, внесем").
Так что делайте все заранее, утрясайте, согласовывайте, отмеряйте семь раз - потом будет дороже!
Сам я согласен с теми, кто говорит, что любые, пусть даже самые-самые декоративные короба портят вид помещения. Но попробуйте БЫСТРО сделать скрытую кабельную проводку под уже смонтированными гипсокартонными панелями, оклеенными обоями, не нарушив отделку...
Трассы магистральной (вертикальной) кабельной системы в самом высоком блоке первоначально планировалось вести в центре здания, вдоль вентиляционных шахт. После тщательного анализа пришли к выводу: неудобно, надо огибать выступ стены, очень сложный проход, много изгибов, и на каждом кабеле - излишек примерно 8 метров. Сколько это будет метров, если таким образом уложить 900 кабелей? Не поискать ли другое место? Поискали. Нашли. Пошли кланяться в ноги строителям: "пробейте отверстия, вот тут, с первого этажа до восьмого, маленькие, сечением не менее чем 100 на 200". Пробили, в конце концов. Тут еще отдельное спасибо надо сказать Главному Строителю Энергосбыта, Пилипенко В. Н. - как и в случаях, описанных выше, он служил, кроме исполнения своих обязанностей, еще и главным разрешителем споров и "убалтывателем" строителей.
Внутри помещений (офисов), от абонентских розеток монтаж решено было вести, как говорилось, горизонтально в коробах 50х100, вертикально в коробах 20х40, а выше уровня подвесных потолков - "зонным" методом. "Достоинством метода является простота его реализации и достаточно высокая гибкость".
Новые кабельные каналы организовывали (попросту - долбили пневматическим молотком перекрытия) уже тогда, когда во всю шел монтаж кабельной системы в малоэтажных блоках. Что поделать - дефицит времени.
В конце концов, при определении помещения для главного коммутационного центра все равно получилась накладка: вход в него получился через конференц-зал. Вроде бы мелочь, но представьте ситуацию: "упал" сервер, админу надо СРОЧНО (потому, что двести пользователей кричат в телефонную трубку: "...я не могу открыть таблицу!") добраться до сервера, а в конференц-зале идет совещание руководителей Новосибирскэнерго (знаете, что такое служба безопасности?).
Увы, в тот момент (этап проектирования) вовсю шла дележка помещений между отделами. Каждый начальник старался урвать себе побольше и получше. Кого трогали требования, предъявляемые к помещениям коммуникационных центров?
Примерно та же история была с помещением для АТС.
Когда завершили (на бумаге) размещение магистральных кабельных трасс и коммутационных центров, начали "прокладывать" горизонтальные кабельные трассы - от этажных коммутационных центров до зон рабочих мест. Это уже было не столь критично - за исключением помещений, в которые кабельные каналы должны были проходить не сквозь перегородки, а сквозь капитальные стены. Задачу упрощало то, что планировка на разных этажах была если и не одинаковая, то похожая. Впрочем, не без исключений.
На этом этапе существенных проколов не было. Пришлось потом, конечно, долбить капитальные сены, расширять кабельные каналы, но это и было запланировано, поскольку строители за такую мелочевку не брались.
Количество портов. По стандарту на рабочем месте должно быть минимум две розетки - для телефона и для компьютера. Либо две розетки на 10 квадратных метров офисной площади - если не известно, где именно будет рабочее место. А вдруг в этом помещении посадят секретаршу, у которой кроме РС и телефона еще и факс, и конференц-связь, и прямой телефон к начальнику? А если в комнату планируется поселить двух человек и, соответствено, запланируешь четыре розетки, проложишь кабели, смонтируешь, все довольны, а пройдет полгода - их уплотнят, посадят третьего? Вот и приходится говорить о принципе "разумной достаточности" - чтобы при переезде сотрудника из одного угла комнаты в другой не пришлось переставлять розетки, перекладывать кабели или тащить новые. Так у нас получилось 1500 абонентских портов на 300 рабочих мест.
И все равно немного просчитались. Причем - в меньшую сторону. Казалось, учли все, хватит на всех. Жизнь внесла свои коррективы. Пришлось все-таки тянуть дополнительные линии, ставить розетки, хотя и не много - считанные единицы. Кто же знал, что в комнату 2х3 посадят троих? Или хуже того: в здании, построенном год назад, затеют переделку - начнут разгораживать помещения перегородками? Российские реалии...
С длинами кабелей не ошиблись - по проекту было заложено 60 километров медного 4-парного кабеля категории 5е, а реально получился 61 километр. С оптикой было еще проще - линии относительно короткие, погрешность при расчетах меньше.
В соответствии с нормами, в том числе, пожарными, пришлось закладывать в проект (кто раньше об этом слышал?) для межэтажных линий кабель в "негорючей" (на самом деле - не выделяющей при горении дыма и вредных веществ, галогенонесодержащей) оболочке. Расширилась номенклатура покупных изделий, да и дороже такой кабель раза в полтора. Но - надо. Все-таки, о безопасности заботились. Упрекните, если не согласны. Тем не менее, при проектировании ошиблись на несколько коробок медного кабеля, пришлось по ходу работ докупать. На технологические обрезки ушло, наверное, больше ;-). Нет, конечно, было не так: кабель заказали с небольшим избытком, с, так сказать, технологическим запасом - он в последствии пригодился.
По "уставу" этажные коммутационные центры рекомендуется располагать в отдельных, изолированных помещениях. Чтобы туда был ограничен доступ (ради безопасности) и чтобы коммутационное оборудование не портило внешний вид интерьеров помещений. Целиком с этим согласен. Но нам пришлось в качестве этажных коммутационных центров использовать монтажные шкафы. Правда, приличные выбрали, Rittal (рис. 5). Первоначально планировали, поскольку шкафы в коридорах, оснастить их не стеклянными, а металлическими дверцами. Парадокс - оказалось, что в такой комплектации шкаф стоит чуть ли не в два раза дороже. Смирились с тем, что есть, сменили только запоры на дверцах на нормальные замки - ради пущей безопасности; все же, обычному человеку замок открыть сложнее, нежели стандартную задвижку.

Это они у себя в Европе так решили - не портить интерьер. Реальность же обычно (у нас) не такова: ну в самом деле, где взять помещения площадью 6 квадратных метров на каждом этаже здания, при проектировании которого наличие вычислительной сети (а тем более - структурированной кабельной системы) не предусматривалось?
Недавно стеклянные дверцы монтажных шкафов для эстетики заклеили матовой пленкой. Теперь хоть электронные кишки не видно (хотя для меня в этих кишках - свой электронный кайф).
По ходу проектирования (да и в процессе монтажа) появлялись разные интересные идеи, не фигурирующие в стандартах. В частности, поскольку в рабочих помещениях монтаж вели в декоративных коробах, предусмотрели закладку избытка кабеля, петлю, чтобы розетку можно было переместить вдоль короба в нужное место; магистральную проводку в многоэтажном блоке спланировали транзитом через монтажные шкафы - получилось довольно удобно, шкафы при установке герметизировали снизу резиновыми прокладками, чтобы не попадала вода при мытье полов.
Конечно, есть в этих решениях некоторые отступления от стандартов. Но почему-то думается, что до ближайшего капитального ремонта, когда часть сделанного несомненно разрушат (хочется надеяться, лет через 15, не раньше), система доживет; а к тому времени жизнь потребует уже "оптику до каждого рабочего места". Что ж, сделаем и это.
Проектную документацию, хоть и делали второпях, старались привести в соответствие с ЕСПД/ЕСКД. В дальнейшем она (документация) послужила хорошей основой документации рабочей (эксплуатационной).
Весьма сложно оказалось найти стандарты на оформление чертежей. И на содержание технического задания (если не тратить время на поездки в магазин "Стандарты" или заказать и ждать книги). И Интернет тут особо ничего не предлагает. Что, впрочем, понятно.
О выборе компонентов вкратце уже было сказано. На выбор повлияли следующие соображения:
- компоненты должны гарантированно отвечать требованиям категории 5е (получается, что "made in China" не подходит);
- должны быть не самыми дорогими;
- должны иметься в достаточном количестве на складах в России (т.е. сроки поставки должны быть минимальными);
- компоненты должны иметь хотя бы компонентную гарантию;
- должны, по возможности, входить в состав "фирменной" СКС (то есть быть гарантированно совместимыми);
- очень желательно наличие подробной технической документации на компоненты, и типовых решений ("книжка с картинками" ;-).
На окончательный выбор компонентов повлияло и отношение сотрудников представительств разных изготовителей к нам, как к возможному заказчику. Конечно, предпочтительнее работать с людьми, которые не просто навязывают свой товар, а делают это, по крайней мере, аргументированно. А еще лучше - когда предлагают несколько вариантов, с информацией о преимуществах и недостатках каждого.
Как говорилось выше, пришлось все-таки использовать компоненты от двух производителей. Виноваты в этом только сжатые сроки реализации СКС. Не было бы такой гонки - можно было бы и подождать пару месяцев, пока из далекой Британии доедет до нас 25-парный кабель категории 5е.
Вот и получилось, что горизонтальная кабельная подсистема сделана на компонентах Molex (от него же и оптические патч-панели, панели S110, VCS и "сопутствующие" изделия, типа модулей KATT, разрядников и пр.) , а магистральные кабели - и "негорючий" 4-парник, и 25-парник, и оптический - AESP.
Кстати, в дальнейшем, через год после завершения работ, выяснилось, что модули KATT вполне стандартной системы S110 производства AMP не устанавливаются в кросс-панели Molex и наоборот. Шаг фиксаторов у них разный. Вот вам и стандарт, совместимость.
Монтаж начали, когда проект формально был не завершен. Сроки поджимали. К тому моменту были сделаны детальные планы этажей с маршрутами кабельных трасс, местами установки коммутационных центров и абонентских розеток, выработаны разнообразные требования, написана часть пояснительной записки, составлены сметы и спецификации оборудования и покупных изделий. Остальная документация делалась параллельно с монтажом.
Естественно, начинать монтажные работы желательно, когда на руках есть полный комплект документации, чтобы по ходу работ уже не возникали вопросы типа: "...здесь нарисован угол, а реально его нет. А здесь нарисовано, что лоток идет до конца коридора, а на самом деле - на два метра короче. Что делать?".
Утверждение проекта шло по частям. Практически, просто согласовывались отдельные части проекта (как говорится, "в рабочем порядке"). Вообще говоря, такой подход позволил сократить сроки проектных работ, хотя и создал дополнительную нагрузку как на участников проекта, так и на руководство.
При согласованиях, надо сказать, больших проблем не возникало (за исключением описанной выше процедуры выделения помещений под главный коммутационный центр и АТС). Проектировщики приносили технически и экономически обоснованные решения, и согласования обычно требовали только мелкие детали. Деталей, в прочем, было предостаточно.

монтаж

Собственно, монтаж, надо полагать, не отличался по характеру от других проектов такого рода. Команда из 16-ти человек, разбитая на бригады по двое-трое, каждое утро получала фронт работ, и направлялась на трудовой подвиг.
Трудности при монтаже общеизвестны: труднодоступные места, высокие (выше 3 метров) потолки, недостаточный диаметр проходных отверстий, сопутствующие удовольствия вроде пыли и почти нулевой влажности - строительные и отделочные работы все еще идут.
Монтаж начали с четырехэтажных блоков, где отделка уже была почти завершена. Это было связано с тем, что в 8-этажном блоке еще не были смонтированы под потолками коридоров лотки для горизонтальной кабельной системы и не были готовы межэтажные каналы.
Что значит для монтажника фраза: "завершены отделочные работы"? Это значит, что придется вскрывать подвесные потолки (а по завершении работ - закрывать), что при укладке кабельных жгутов в лотки выше уровня потолка придется обходить крепления и рамы это самого потолка; искать отверстия кабельных каналов под смонтированными стенными панелями... Очень много лишней работы получается. И приходится быть очень аккуратными, чтобы не испортить сделанного другими.
Команда, собранная из (заметьте!) инженеров отдела, как говорилось выше, была разбита на бригады; каждая бригада утром получала задание на день. Если справлялась раньше - получала дополнительный фронт работ. Организацией работ занимался Серегй Шкурин, начальник группы АСКУЭ (кроме того, он занимался финансовой частью проекта). Его "заместителями" были Олег Печень, начальник группы администраторов вычислительной сети (проектирование, комплектация, связи с поставщиками) и Николай Слепушкин, ведущий инженер по телекоммуникациям (проектирование, связи со строителями и пр.). Это "начальство" после раздачи заданий тоже отправлялось на монтаж.
В целом, такая организация работ себя оправдала. Бригады по 2-3 человека расходились по зданию, получив задания по схеме: "...вы двое - в блок Б, третий этаж, левая сторона, на горизонтальную проводку; вы двое - туда же, на правую сторону; вы - монтаж абонентских розеток, ты - патч-панели на втором этаже; ты - на третьем; вы - на магистрали.".
Инструментом постарались себя обеспечить заранее, чтобы не было простоев по ходу работ. Перфораторы, шуруповерты, пассатижи, отвертки, молотки, стремянки, ударный инструмент... Но без излишеств - специальных инструментов, вроде гибких штанг для протягивания кабеля через проходы со сложным маршрутом, не планировали использовать, обходились сталистой проволокой.
Несомненно, иметь полный набор приспособлений для прокладки кабельных систем - хорошо, жаль, позволить себе этого нельзя. Если бы это была основная, постоянная работа - еще можно было бы поставить вопрос о приобретении барабанов для кабеля, гибких шестов, "телекоммуникационных пистолетов". А на один проект это ни к чему. В прочем, проект оказался не последним.
Способы прокладки. Как уже говорилось, вертикальные магистрали прокладывались в межэтажных каналах, с креплением жгута кабеля в нескольких местах к конструкции монтажного шкафа и планкам (DIN-рейкам) (рис. 6).



Магистральный кабель в 4-этажных блоках шел в специальном кабельном канале в капитальной стене, в 8-этажном блоке - транзитом через монтажный шкаф. Видно, что над шкафом магистрали закрыты декоративным коробом (рис. 7):



Хочется надеяться, что внешний вид коридора мы испортили не слишком сильно.
Как показал дальнейший опыт (следующий проект), для крепления магистральных линий лучше всего использовать общепринятые решения - например, кабельросты. На рис. 8 - фотография магистральной линии следующего проекта - в "старом" здании, где ведется поэтапная модернизация кабельной системы.



В коридорах магистрали вели в металлических перфорированных лотках, закрепленных выше уровня подвесных потолков. От лотков кабельные жгуты расходились в рабочие помещения, через отверстия в стенах и перегородках, также выше уровня потолка. Отдельной историей была организация кабельного канала между блоками А и Б. Требовалось проложить магистральную линию сквозь две капитальные стены и через широкую лестничную площадку, причем по первоначальному строительному проекту прокладка прочих (не информационных) магистралей через этот переход не предусматривалась. Вот что у нас получилось (рис. 9).



В сложных местах приходилось выдумывать, вырезать технологические отверстия (рис. 10).



Потом эти отверстия закрывались декоративными или вентиляционными панелями.
В рабочих помещениях спуски кабеля до уровня 0,4 м. от уровня пола пришлось организовывать декоративным коробом, сечением 20 х 40. О том, что короб внутри офиса - картина не слишком эстетичная, уже говорилось. Кроме того, "стандартную" высоту информационных розеток (декоративного короба) от уровня пола - 0,3 м. - соблюсти не удалось, поскольку на этом уровне уже были установлены силовые розетки.
В помещениях монтаж кабельной системы вели в коробе сечением 50 х 100, использовали сдвоенные абонентские розетки RG-45. Короб 50 х 100, 20 х 40, рамки, суппорты - все производства Legrand (рис. 11-12).




Как уже говорилось, в короб закладывалась петля кабеля (избыток) с таким расчетом, чтобы при необходимости блок розеток можно было переместить вдоль короба из одного угла в другой. В дальнейшем, при эксплуатации кабельной системы, мы только радовались, что своевременно такое придумали и реализовали.
Много неприятностей доставили нам кондиционерщики. Они вели монтаж одновременно с нами, правда, в разных местах. И для того, скажем, чтобы провести по стене спуск (для слива конденсата или подвода электричества) для своих железок, они без малейших сомнений отрывали со стен установленный нами короб (в котором уже было уложено, скажем, два десятка кабелей). И это притом, что сами мы в аналогичных случаях выпиливали пазы в коробе, делали обводы - всячески старались не навредить. Пришлось объясняться, скандалить, чуть до драки не доходило... В конце концов, вроде бы поняли.
В нескольких помещениях стены были закрыты керамической плиткой (цех по ремонту счетчиков и медпункт). Пришлось покупать твердосплавные сверла.
В процессе монтажа тестирование кабельных линий проводили простенькими кабельными тестерами производства Molex. Как говорится, лишь бы был линк и не перепутаны пары. Сертификацию линий оставили на потом.
Очень полезными при проверке кабельных линий (а местами и при прокладке, особенно на межэтажных магистралях) оказались радиостанции, благо они имелись уже в группе АСКУЭ для повседневных монтажных нужд.
Попробуйте переговариваться в стиле: "Погоди, во второй паре проводники перепутаны! Смотри у себя на патч-панели, у меня на розетке все нормально!", если один находится в серверной на третьем этаже, а второй, например, - на восьмом.
К моменту завершения монтажных работ мы не смогли организовать сертификацию кабельной системы, поскольку под рукой был только старенький кабельный сканер WireScope 100, позволявший сертифицировать линии только на старую категорию 5, и никак не на 5е. Параллельно с монтажными работами выясняли, у кого можно взять "взаймы", арендовать (или, может быть, дешевле купить?) кабельный сканер категории 5е/6. Взаймы никто не дал (само собой понятно), аренда оказалась дороже приобретения - выяснилось, что такую дорогую девайсу просто так не дадут, а только вместе со специалистами, которые, собственно, и будут ей управлять, и которым придется платить за каждый час работы.
Монтажные работы завершили за два месяца, работая только по выходным и праздникам. Работали от темна до темна, по 12-14 часов в день. В процессе монтажа выработали свои приемы, мелкие полезные хитрости. Набрались, так сказать, опыта.
Из-за разного рода накладок все-таки к моменту переезда сотрудников Энергосбыта в новое здание остались некоторые недоделки. Ну не хватило настенных абонентских коробок на 4 розетки и суппортов! И на складе у поставщика больше нет, и прибудут "не раньше пятницы". Вот и торчит из короба пучок проводов с установленными розетками, работать можно, только не очень удобно и выглядит как-то нехорошо. Со временем устранили, конечно.

телефония

Телефония была сделана достаточно традиционно: магистрали на 25-парном медном кабеле, кроссы - на панелях типа 110. Для подключения абонентских розеток зоны рабочих мест в коммутационных центрах использовались патч-корды RJ-45/S110 одно- или двухпарные (для спаренных телефонов).
Сложности в данном случае были обусловлены большим диаметром, погонным весом и малой гибкостью 25-парного кабеля. Хотя, на самом деле, наиболее длинные магистральные линии прокладывались пучком из четырех четырехпарных медных кабелей, двух 25-парных медных кабелей и одного волоконно-оптического.
Еще на этапе проектирования решено было использовать традиционное для телефонии оборудование. Как и в "вычислительной" части кабельной системы, решили использовать компоненты Molex. При выборе не последнюю роль сыграли подробные фирменные каталоги. До той поры дела с телефонией иметь не доводилось, и примеры реализации Molex линий от ввода в здание до рабочего места сослужили при проектировании хорошую службу. Иногда реклама бывает полезной!
Как уже упоминалось, были проблемы с поставкой 25-парного кабеля. Molex обещал поставку не раньше, чем через два-три месяца, что нас совершенно не устраивало. К стати, первоначально планировалось использовать 25-парный кабель категории 5е (говорят, есть такой), чтобы, в случае крайней необходимости, по нему можно было бы пустить Fast (а то и Gigabit ;-) Ethernet. Но отсутствие на складах у поставщиков и цена (!) остановили. 25-парник купили, в конце концов, у AESP.
Поскольку серверная расположилась на 3-м этаже, а телефонный узел на 4-м, и основные магистрали шли от серверной (трассы включали металлические перфорированные лотки шириной 300 мм.), то, чтобы не строить лишнюю телефонную магистраль (в ней должно было быть уложено 15 25-парных кабелей), решено было кабели из помещения АТС пустить по "вычислительным" каналам 3-го этажа, через серверную. При этом на каждой линии получился "перерасход" кабеля примерно в 1,5 метра.
Лучшим вариантом было бы разместить серверную и АТС в соседних помещениях, но (см. выше - проектирование)...
В помещении АТС установили 19" открытую монтажную раму, смонтировали на ней необходимое число 200-парных панелей типа S110 в качестве основного кросса, на входных линиях (их было не слишком много, видно в верхней части рамы) использовали распределительные панели, модули, емкости для газовых разрядников, элементы размыкания системы VCS, все от Molex, газовые разрядники (линейная защита) – Siemens (рис. 13).



25-парный кабель значительно тяжелее 4-парного, гораздо менее гибкий, и, как известно, поставляется не в 3-килограммовых коробочках по 305 метров, а на барабанах весом в центнер. Стоило большого труда соорудить из подручных материальв подобие вьюшки для такого барабана (в прочем, времени это заняло немного - две станины из строительных лесов и труба подходящего диаметра решили проблему.
Прокладкой кабельных трасс возле (и внутри) АТС руководили уже не сетевики, а связисты (они же сделали львинную долю работы). Им виднее, как это должно быть правильно.



Да, получилось, что здоровый пучок кабеля лежит на полу (рис. 14). Не додумали, точнее, не хватило времени вдаваться в такие детали. Но, согласитесь, облагородить все это - дело относительно несложное и недорогое. Было бы желание.

активное оборудование

Хотя активное оборудование и не входит в состав СКС, сказать несколько слов об этом все же хочется. Как говорилось когда-то, во время учебы: "...новые тетрадки - новая жизнь"; разве можно при посредстве только что построенной, новой кабельной системы соединять между собой старые хабы? Тем более что на новом месте производительность сетевого оборудования требовалась достаточно высокая.
Как и при выборе изготовителя компонентов СКС, встал вопрос: лучше или дешевле? До той поры доводилось эксплуатировать в основном оборудование от 3Com, отдельные устройства Cisco и считанные - от D-Link. В прочем, выбирать оборудования для новой сети начали еще задолго до начала проектирования.
На самом деле ситуация была довольно простая: большая часть сотрудников переезжает из "старого" здания во вновь построенное, с мебелью, компьютерами, цветочными горшками, папками с документами и телефонами. Но на освободившиеся рабочие места уже есть кандидаты: в старое здание переселятся Приобское отделение Энергосбыта, несколько подразделений Новосибирскэнерго на правах арендаторов, там останется отдел реализации энергии населению (и при этом расширится), останется и расширится call-centre. То есть сетевую (кабельную) инфраструктуру не то что разрушить нельзя - ее со временем необходимо будет модернизировать до приемлемого уровня. Активное оборудование, таким образом, останется там, где стояло.
Уже не раз упоминалось, что кабельная система в старом здании строилась по традиционной ("классической") для России 90-х годов прошлого столетия схеме. В отношении активного сетевого оборудования это значит, что есть более или менее приведенный в порядок вычислительный центр, где стоит, в нашем случае, стек из 3Com SuperStack II (3) Switch 3300, пара вспомогательных PS40 Hub 12, Cisco 2611 на внешнем канале, ну и по мелочи; этажных коммутационных центров нет как класса, коммутароры и хабы стоят непосредственно в помещениях пользователей и соединены между собой цепочками (естественно, с соблюдением известного старого правила "4-3-2"). Если учесть общую структуру (например, цепочки "пользователь -> коммутатор -> хаб -> центральный коммутатор"), то, что часть линий сделана кабелем категории 5, то, что часть оборудования служит с 90-х годов - производительность всей системы вызывает изрядные сомнения. То, что на порту коммутатора OfficeConnect Switch 16 светится индикатор "100 Mbps", в данном случае значит лишь, что имеется потенциальная возможность работать по протоколу FastEthernet, а каков на этом линке процент ошибок - без проведения специальных мероприятий не выяснить.
На выбор оборудования потратили много времени и сил. Cisco - хорошо, но дорого. К 3Com доверие утеряно (ну были, были ситуации...). D-Link надежд не оправдывает. К тому же свои требования, исходящие из новых принципов и новой структуры сети - для этажных коммутационных центров только коммутаторы (понятно); только управляемые (тоже понятно, по этажам не набегаешься); желательно одной линейки продуктов; имеющие или с возможностью установки оптических гигабитных модулей; с возможностью собирать в стек; с возможностью организовать транки; с поддержкой VLAN. Центральный коммутатор... Первоначально собирались сделать стек из нескольких, но решили, что лучше будет один высокопроизводительный, с гигабитными медными и оптическими портами, обязательно и 10/100, и чтобы маршрутизировал... То есть модульный, 3/4 уровня.
Теперь руководствуемся лозунгом: "Больше никаких активных сетевых устройств у пользователей!". Мало того, что об этом прямо говорят стандарты, собственный опыт просто кричит об этом. Был случай - у юзеров на стене висел SuperStack 1100 и громко шумел. На него сделали деревянный кожух, обшитый изнутри поролоном, заметьте, с дырочками для вентиляции. Что в этом кожухе творилось через полгода - тема для ужастиков на замечательном сайте nag.ru. А каково поползать на коленках под столами, добираясь до хаба, который "мешал", и его поэтому "переложили"?
В конце концов, после длительных консультаций, изучения прайс-листов и технических характеристик, остановились на продукции Nortel Networks. В качестве центрального коммутатора решено было использовать Passport 8606 с необходимыми модулями, в качестве этажных - BayStack 470-48T и, там, где нужно меньшее количество портов, BayStack 470-24T (в тот момент последних еще не было, и до сих пор работает один BayStack 420-24T). Для системных нужд используем один BayStack Business Police Switch. К стати, и новые АТС были тоже от Nortel - Meridian.
Из партии в 15 коммутаторов один пришлось вернуть - не грузился, сообщал об ошибке основной памяти. Заменили в тот же день. Вторая страшная история с нортеловским оборудованием произошла, собственно, по нашей вине. Решили обновить в BS 470-48T софт, для загрузки (сдуру) использовали виндовую станцию и Cisco TFTP Server. Старый софт удалось скопировать с коммутатора без проблем, а на загрузке нового TFTP сервер вывалился (и не один раз). Опять-таки сдуру выключили коммутатор - ну и привет, пишите письма... Пока работал, пока все рабочее было в оперативной памяти, еще был шанс залить новый имедж. Пришлось платить за ремонт.
Для организации телефонии, кроме собственно АТС, использовали IPMUX от RAD Data Communications для организации телефонной связи между старым и новым зданиями и DSL-модемы для организации потоков E1 до НГТС. Для связи между зданиями (волоконно-оптическая линия была проложена незадолго до начала монтажных работ, одномодовая, расстояние ~2 км.) использовали первоначально медиаконверторы AT MC-103XL (одномод на медь, FastEthernet, до 15 км.) от Allied Telesyn, в последствии их заменили на гигабитные AT MC-1001 (одномод-многомод).
Дело в том, что в новое здание первоначально было заведено очень мало коммуникаций - 16 телефонных прямых линий и два волоконно-оптических кабеля, один до старого здания (2 волокна), второй - до Новосибирскэнерго (6 волокон). И получилось, что по двум волокнам надо гонять и сетевой трафик, и голос. Вот и выкрутились.
И, конечно, раз уж строили волоконную линию, надо было заложить, по крайней мере, 4, а лучше - 16 волокон. Немного дороже, но можно разделить потоки, организовать транки и пр.

эксплуатация

Эксплуатация вновь созданной кабельной системы началась еще до переезда сотрудников, когда смонтировали и включили коммутаторы в шкафах главного и этажных коммутационных центров.
Переселение шло по плану, группами, отделами. Тем не менее, весь период переезда изрядному числу сотрудников ОИТС пришлось немало побегать - производить первоначальное подключение более чам 300 рабочих станций и еще больше - телефонов.
С самого начала эксплуатации проявились основные преимущества СКС. Подключить компьютер сотрудника? Легко! Вот план этажа (размещение розеток), вот маркировка на патч-панели коммутационного центра, вот абонентская розетка, вот патч-корд - воткнули с одной стороны, воткнули с другой; лампочка на коммутаторе загорелась, пинги пошли - все! Переключить пользователя, пересевшего в другую комнату? Нет проблем! Не нравится сидеть в углу, хочется у окна? Перетыкаем патч-корд здесь и здесь.
Поскольку использовались только розетки RJ-45 (как положено по стандарту), пришлось переделывать телефонные шнуры. То есть можно, конечно, воткнуть вилку RJ-11 в гнездо RJ-45, но при этом в гнезде крайние контакты подгибаются, и в дальнейшем в этой розетке, если ее задействовать для подключения компьютера, может случиться плохой контакт. А сделать решили так, чтобы потом долгие годы уже ничего не переделывать. Поэтому на телефонные шнуры обжимали вилки RJ-45.
Патч-корды в коммутационные центры купили готовые, для пользователей ваяли своими руками (и до сих пор иногда ваяем). Чтобы было совсем хорошо, по науке, для самодельных патч-кордов используется только кабель с многожильными проводниками (и повышенным сопротивлением). Обязательно колпачки на коннектор - меньше шансов, что пользователь сломает защелку.
Уже писалось, что кое-где поставили недостаточно розеток. Одно узкое место обнаружилось в инженерно-инспекторском отделе, и одно, как ни странно, в группе администраторов вычислительной сети и телекоммуникаций. Последнее, в прочем, легко объяснимо: думали все серверы поставить в серверной, а оказалось, что сервер резервного копирования лучше держать под рукой; что постоянно один, а то и два сервера тут, в комнате, на "стапелях"; что время от времени надо сымитировать хитрую схему соединений или смоделировать сегмент сети. Пришлось прокладывать еще пучок кабелей, благо - комната от серверной недалеко.
Переезд серверного парка (точнее, его большей части) был делом гораздо более сложным. Кухня такая, что в любой момент просто так не остановишь - скажется на деятельности всего предприятия (попросту, парализует деятельность). Ухитрились организовать перевоз только на День независимости, благо получилось три дня выходных. Общий вид серверной см. на рис. 15.



Во время перевоза серверов один из участников переезда (не будем называть имени) уронил главный файл-сервер, он же - главная реплика Novell NDS. Уронил физически, на пол, как в том анекдоте. Перевоз серверного хозяйства завершили за день, но, по вышеизложенной причине два администратора (в том числе и автор) провели на работе и оставшиеся два выходные дня (точнее - двое суток), восстанавливая данные с RAID-массива 5-го уровня, в котором высыпалось ровно две трети дисков. Кто понимает - тот оценит. Ну, впрочем, это отношения к СКС не имеет.
По мере пребывания серверов (за упомянутый переезд было перевезено менее половины - перевезти успели только наиболее важные) повышалась температура в серверной. Кондиционеры в здании монтировали ни шатко, ни валко, и в первую очередь вовсе не возле серверной (коммуникационного центра). Последовал длительный этап переговоров - железо греется, есть опасность выхода оборудования из строя. Убедили. Был установлен 1,5 киловатник, бытовой, как и в прочих (офисных) помещениях. И лишь полгода спустя, когда лето уже прошло и после того, как загнулся от перегрева один из важных серверов, добавили еще 6-ти киловатный. Теперь речь идет об установке полупромышленной системы, мощностью 15-20 киловатт. Эту историю тоже можно отнести к просчетам проектирования.
На данный момент структурированная кабельная система эксплуатируется уже больше года. Серьезных недочетов ни в проекте, ни в монтаже не выявлено. Получается, что сделали все правильно.

Итоги

Итоги. Здесь приведены некоторые численные показатели, характеризующие проект в целом.

Параметр	Значение
Здание:
Корпусов	3
Этажность	Блок А - 8 (плюс цокольный, плюс подвал), блоки Б и В - по 4
Количество портов:
Максимальное количество рабочих мест .	440
Количество коммутационных центров	12
Количество абонентских портов	1500
Количество коммутаторов	15
Количество портов активного оборудования	680
Общая протяженность кабельных линий:
Медный 4-парный категории 5е	64355 м.
Медный 4-парный категории 5е PVC	1830 м.
Медный 25- парный категории 5	1830 м.
Оптический многомодовый 8 волокон	800 м.
Оптический одномодовый 8 волокон	120 м.
Короб декоративный, 50х100 мм	4500 м.

Что еще можно добавить? Мы славно потрудились. Если вы прочитали все, написанное выше, то должны составить представление о том, что такое структурированная кабельная система для России. Это далеко не только то, что описано в стандартах; это не только набор Permanent Link'ов, построенных на базе более или менее известных производителей (или вовсе на китайских комплектующих. Пусть меня не осуждают в предвзятости - с китайской продукцией я тоже имел дело); для России СКС - это готовая система, которая должна без проблем обеспечить функционирование вычислительной, телефонной, и еще Бог знает каких сетей. И включать она должна не только кабель, патч-панели и абонентские розетки, но еще и системы вентиляции, теплоснобжения, бесперебойного питания и многое другое.

Коллектив ОИТС ЗАО "Новосибирскэнергосбыт".
обсуждение статьи