примеры топологий сетей масштаба микрорайона
Для примера возьмем среднестатистический российский микрорайон. Небольшой, новой застройки, расположенный в 750-ти тысячном городе. Размер полигона - 2,5 на 2,5 километра, домов (в основном 9-ти этажных) около 200, квартир - 70000.
Известно, что по району до каждого дома проходит мечта сетестроителя - сеть подземных коммуникаций. Таким образом топология задается жестко, и далеко не всегда самым удобным для Ethernet образом (большой расход оптоволокна). В туннеле оборудование устанавливать нельзя, только муфты. Да и платить приходится не мало и "покабельно", так что мысли "накидать кучу оптики" не возникают - в этом прослеживается схожесть скорее с кабельной канализацией телефонистов, а не "свободой" крыш и чердаков.
На сегодня в этом районе уже есть несколько небольших сетей. У провайдера, сподвигнувшего меня на создание нижеприведенного эскиза - порядка 700-800 абонентов (город не богат). Но перспектива роста в течении 3-5 лет хорошая (можно рассчитывать на 10-15 тысяч пользователей), поэтому у него есть желание вложить в развитие порядка $20000-30000. По московским меркам сумма просто смешная, фирмы типа Корбины, не стесняясь, вкладывают многие миллионы. Но вдали от столицы этого может хватить для вывода проекта на новый качественный уровень.
Соответственно, цель - создать хороший скелет. И для начала - определить идеологию, по которой будет строиться сеть в течение следующих лет. Как ни абстрактно это звучит на первый взгляд, технические следствия вполне осязаемы.
Вводные стандартны. Нет желания в очередной раз повторять, что цепочки с активным оборудованием должны быть как можно короче, коммутаторы, по возможности, однотипными, а стоимость кабелей несоизмеримо меньше, чем затраты на последующее обслуживание коммуникаций. А так же почему нельзя взять гигабитные мыльницы и развесить их гирляндой по району... Или включать близлежащих абонентов прямо в core... :-)
Поэтому перейдем сразу к более серьезным конкурирующим вариантам:
1. Дерево. Организовать 5-7 узлов первого уровня, соединив их с центром кольцом или звездой. Далее, в каждый из них включить 5-7 узлов второго уровня. И уже потом - присоединять коммутаторы домов (опять таки 5-7 на каждый "подузел").
2. Лепестки. Вынести 15-20 узлов звездой от центра, и в них включать 10-20 внутриквартальных "домовых" коммутаторов. То есть обойтись вообще без бэкбона в его традиционном понимании.
3. Классика. Сделать кольцо из 3-4 мощных узлов, в которые ввести волокна от 40-60 домов.
4. Все в центр. Вывести все линии от каждого дома на один центральный узел. Многоволоконная оптика вполне позволяет такую топологию. Первый вариант требует наименьшего расхода оптоволокна, прост, часто встречается на практике... Но появляется порядка 50-ти транзитных узлов, на которых, как минимум, нужно обеспечивать бесперебойное питание. Как максимум - это самая ненадежная из предложенных схем. Сейчас с этим вполне можно мириться, однако для варианта "на вырост" - не годится.
Так же можно исключить из рассмотрения и последний пункт. Во-первых, он наиболее затратен по оптоволокну. Во-вторых, такая распределенная звезда всего в нескольких физических кабелях слишком уязвима (хотя имеет смысл на крышах, когда можно из одной точки вывести разные кабели сразу в десяти направлениях). Ну а резервирование вообще поднимет стоимость проекта до нереальных величин.
А вот варианты 2 и 3 нужно рассмотреть подробнее, и уже с учетом реальной топологии туннелей.
Упрощенно, можно представить район как 9 секторов-кварталов, канализация в которых идет до каждого дома, и показана на рисунке 1 тонкими черными линиями. Магистральный кольцевой тоннель идет вокруг 4-х кварталов.
Рис. 1. Вариант 2: Лепестки.
По магистральному туннелю прокладывается кабель (жирная линия), желательно волокон на 20, но хватит и 12-16. Так как основная топология звезда, то по идее можно начать строительство с 16-ти жил, и по мере отводов волокон на узлы использовать кабель с меньшим их числом. Например, после 3- й муфты использовать уже восьмиволоконный... А на месте прерывистой жирной линии вообще не прокладывать ничего.
Однако, на таких небольших расстояниях менять тип кабеля при удалении от центра неоправданно, и появляется интересный вариант "недорого" увеличить надежность включением в сеть элементов "кольцевой" топологии.
Для этого отводы от магистрали внутрь кварталов делаются в два волокна на каждый узел (приходящее из центра, и уходящее далее на кольцо). На кабеле, который идет от центра в противоположном направлении делается то же самое. Так как "уходящие" от противоположных узлов (относительно центра) волокна - суть одно волокно, получаются своеобразные "лепестки" (см. рис. 2).
Рис. 2.
Линия, показанная на рис. 2 пунктиром, соответствует аналогичному обозначению предыдущего рисунка. То есть прокладка в этом месте необязательна для работы, но недорога и существенно поднимает надежность. Более того, даже при наличии физического линка он должен быть при нормальной работе отключен средствами STP. Но при обрыве звезда становится кольцом, сеть продолжает работать.
Большое количество узлов делает дорогим использование гигабита на одном волокне ($300-400 за порт). В то же время необходимости в такой скорости на сегодня все равно нет, и при недостатке средств вполне можно обойтись 100-мегабитными линиями (особенно если использовать QoS). Хотя пользователей все же было бы желательно ограничить 10-ю мегабитами.
По мере роста сети оборудование можно последовательно менять на гигабитное, благо при существующих темпах падения цен дешевле выкинуть два "временных" устройства, чем сразу поставить одно "постоянное". Главное - при этом не потребуется менять кабельную инфраструктуру, только порты активного оборудования.
К сожалению, администрации рассмотренной сети очень хочется дать пользователю порт 100 Мб (что в техническом плане не актуально и даже вредно), и не считать внутрисетевой трафик (зря, зря ;-)). Но, тем не менее, исходя из рассмотренных соображений, можно нарисовать схему опорной сети "в железе".
Рис. 3.
Рассмотрим схему, показанную на рисунке 3. В центре стоит мощный коммутатор 3-го уровня, который терминирует виланы (при необходимости, устанавливает приоритеты, фильтрует трафик. Лучше всего на этом месте смотрелся бы Catalyst 4506 (и гигабитные линии до узлов), но увы - он не по бюджету.
На узлах желательно поставить простые коммутаторы с поддержкой L4. Они могут "раскрасить" проходящий трафик, и с запасом проработают на этом месте несколько лет, пока не подешевеет c3750 (или аналог). Впрочем, на большинстве направлений хватит и более простых устройств... В дома пойдет любой коммутатор L2, способный контролировать пользователя на порту. Но велика вероятность, что еще как минимум несколько лет сохранится старая сеть на "мыльницах". Замена будет плавной, по мере необходимости. Слишком мало еще денег в этом секторе телекоммуникаций. Каждый коммутатор в доме должен быть включен в узел отдельным волокном. Если на дом ставится два-три коммутатора, соответственно требуется два- три волокна. Так как линия идет по туннелю от дома к дому, придется использовать кабель минимум на 8 волокон, лучше - больше. Хотя с "резервом" не стоит слишком усердствовать. Расстояния внутри квартала небольшие, лишняя жилка будет стоить смешные $15-20. Но тут много муфт, и на каждой сварка, сплайс-пластина добавит "не лишние 10 баксов".
Вернемся опять к центральному узлу. Для подсчета внутрисетевого (межсегментного) трафика на данной схеме потребуется заменить только маршрутизатор на более мощный. А лучше сразу поставить что-то типа ПК с серверными Ethernet-контроллерами на разных PCI-X шинах и AMD64 +FreeBSD + Netgraph + NetFlow. Или Cisco 72xx - 75xx. Указанная на схеме (и имеющаяся в реальной сети) c1751 c NetFlow все равно по-человечески работать не сможет, да и более чем пару тысяч абонентов не обсчитает.
Впрочем, вариантов активного оборудования можно предложить просто огромное количество - все равно его стоимость малозаметна на фоне работы с оптоволокном, муфтами, ящиками, подводом питания и прочими хозвопросами.
Рис. 4. Вариант 3: Классика.
По магистральному туннелю прокладывается кольцом кабель, на котором строится гигабитный бэкбон, состоящий из 3-х узлов. К каждому из них подводятся волокна от всех домов обслуживаемого сектора (около 40-60 в 2-3 24-х волоконных кабелях).
К сожалению, топология туннелей не позволяет выводить кабели из районов сразу на узлы. Их придется стыковать через муфты с кабелем бэкбона, и уже по нему вести до нужного места. Что в свою очередь делает необходимым использование кольца из многоволоконного кабеля (порядка 48 волокон). Кабели более чем на 24 жилы делаются как правило на заказ - и стоят значительно дороже (добавить волокно в кабель менее 24 жил стоит $80, более - уже $180). Да и муфты потребуются дорогие, вероятно фирменные обслуживаемые типа 3M, Raychem.
Однако надежность такой сети будет (вероятно) выше, а эксплуатационные затраты ниже (так как меньше узлов, нуждающихся в серьезном внимании). Поэтому, несмотря на большие стартовые расходы, сбрасывать данный вариант со счетов не стоит.
По пропускной способности данная схема аналогична предыдущей (в сумме около двух гигабит), однако увеличить скорость в перспективе будет сложнее - 10G не собирается быстро дешеветь. Зато модифицировать 3 узла намного легче, чем 20. Так что назвать вариант, оптимальный в будущем, затруднительно.
Оборудование в данном случае можно расположить как показано на рисунке 5.
Рис. 5.
Структура проще, и, в общем, очевидна. Разве что нужно отметить использование модульных коммутаторов, которые позволяют компактно и просто разместить в ограниченном пространстве много десятков оптических портов.
Павел Нагибин, автор проекта NAG.ru.
Известно, что по району до каждого дома проходит мечта сетестроителя - сеть подземных коммуникаций. Таким образом топология задается жестко, и далеко не всегда самым удобным для Ethernet образом (большой расход оптоволокна). В туннеле оборудование устанавливать нельзя, только муфты. Да и платить приходится не мало и "покабельно", так что мысли "накидать кучу оптики" не возникают - в этом прослеживается схожесть скорее с кабельной канализацией телефонистов, а не "свободой" крыш и чердаков.
На сегодня в этом районе уже есть несколько небольших сетей. У провайдера, сподвигнувшего меня на создание нижеприведенного эскиза - порядка 700-800 абонентов (город не богат). Но перспектива роста в течении 3-5 лет хорошая (можно рассчитывать на 10-15 тысяч пользователей), поэтому у него есть желание вложить в развитие порядка $20000-30000. По московским меркам сумма просто смешная, фирмы типа Корбины, не стесняясь, вкладывают многие миллионы. Но вдали от столицы этого может хватить для вывода проекта на новый качественный уровень.
Соответственно, цель - создать хороший скелет. И для начала - определить идеологию, по которой будет строиться сеть в течение следующих лет. Как ни абстрактно это звучит на первый взгляд, технические следствия вполне осязаемы.
Вводные стандартны. Нет желания в очередной раз повторять, что цепочки с активным оборудованием должны быть как можно короче, коммутаторы, по возможности, однотипными, а стоимость кабелей несоизмеримо меньше, чем затраты на последующее обслуживание коммуникаций. А так же почему нельзя взять гигабитные мыльницы и развесить их гирляндой по району... Или включать близлежащих абонентов прямо в core... :-)
Поэтому перейдем сразу к более серьезным конкурирующим вариантам:
1. Дерево. Организовать 5-7 узлов первого уровня, соединив их с центром кольцом или звездой. Далее, в каждый из них включить 5-7 узлов второго уровня. И уже потом - присоединять коммутаторы домов (опять таки 5-7 на каждый "подузел").
2. Лепестки. Вынести 15-20 узлов звездой от центра, и в них включать 10-20 внутриквартальных "домовых" коммутаторов. То есть обойтись вообще без бэкбона в его традиционном понимании.
3. Классика. Сделать кольцо из 3-4 мощных узлов, в которые ввести волокна от 40-60 домов.
4. Все в центр. Вывести все линии от каждого дома на один центральный узел. Многоволоконная оптика вполне позволяет такую топологию. Первый вариант требует наименьшего расхода оптоволокна, прост, часто встречается на практике... Но появляется порядка 50-ти транзитных узлов, на которых, как минимум, нужно обеспечивать бесперебойное питание. Как максимум - это самая ненадежная из предложенных схем. Сейчас с этим вполне можно мириться, однако для варианта "на вырост" - не годится.
Так же можно исключить из рассмотрения и последний пункт. Во-первых, он наиболее затратен по оптоволокну. Во-вторых, такая распределенная звезда всего в нескольких физических кабелях слишком уязвима (хотя имеет смысл на крышах, когда можно из одной точки вывести разные кабели сразу в десяти направлениях). Ну а резервирование вообще поднимет стоимость проекта до нереальных величин.
А вот варианты 2 и 3 нужно рассмотреть подробнее, и уже с учетом реальной топологии туннелей.
Упрощенно, можно представить район как 9 секторов-кварталов, канализация в которых идет до каждого дома, и показана на рисунке 1 тонкими черными линиями. Магистральный кольцевой тоннель идет вокруг 4-х кварталов.
Рис. 1. Вариант 2: Лепестки.
По магистральному туннелю прокладывается кабель (жирная линия), желательно волокон на 20, но хватит и 12-16. Так как основная топология звезда, то по идее можно начать строительство с 16-ти жил, и по мере отводов волокон на узлы использовать кабель с меньшим их числом. Например, после 3- й муфты использовать уже восьмиволоконный... А на месте прерывистой жирной линии вообще не прокладывать ничего.
Однако, на таких небольших расстояниях менять тип кабеля при удалении от центра неоправданно, и появляется интересный вариант "недорого" увеличить надежность включением в сеть элементов "кольцевой" топологии.
Для этого отводы от магистрали внутрь кварталов делаются в два волокна на каждый узел (приходящее из центра, и уходящее далее на кольцо). На кабеле, который идет от центра в противоположном направлении делается то же самое. Так как "уходящие" от противоположных узлов (относительно центра) волокна - суть одно волокно, получаются своеобразные "лепестки" (см. рис. 2).
Рис. 2.
Линия, показанная на рис. 2 пунктиром, соответствует аналогичному обозначению предыдущего рисунка. То есть прокладка в этом месте необязательна для работы, но недорога и существенно поднимает надежность. Более того, даже при наличии физического линка он должен быть при нормальной работе отключен средствами STP. Но при обрыве звезда становится кольцом, сеть продолжает работать.
Большое количество узлов делает дорогим использование гигабита на одном волокне ($300-400 за порт). В то же время необходимости в такой скорости на сегодня все равно нет, и при недостатке средств вполне можно обойтись 100-мегабитными линиями (особенно если использовать QoS). Хотя пользователей все же было бы желательно ограничить 10-ю мегабитами.
По мере роста сети оборудование можно последовательно менять на гигабитное, благо при существующих темпах падения цен дешевле выкинуть два "временных" устройства, чем сразу поставить одно "постоянное". Главное - при этом не потребуется менять кабельную инфраструктуру, только порты активного оборудования.
К сожалению, администрации рассмотренной сети очень хочется дать пользователю порт 100 Мб (что в техническом плане не актуально и даже вредно), и не считать внутрисетевой трафик (зря, зря ;-)). Но, тем не менее, исходя из рассмотренных соображений, можно нарисовать схему опорной сети "в железе".
Рис. 3.
Рассмотрим схему, показанную на рисунке 3. В центре стоит мощный коммутатор 3-го уровня, который терминирует виланы (при необходимости, устанавливает приоритеты, фильтрует трафик. Лучше всего на этом месте смотрелся бы Catalyst 4506 (и гигабитные линии до узлов), но увы - он не по бюджету.
На узлах желательно поставить простые коммутаторы с поддержкой L4. Они могут "раскрасить" проходящий трафик, и с запасом проработают на этом месте несколько лет, пока не подешевеет c3750 (или аналог). Впрочем, на большинстве направлений хватит и более простых устройств... В дома пойдет любой коммутатор L2, способный контролировать пользователя на порту. Но велика вероятность, что еще как минимум несколько лет сохранится старая сеть на "мыльницах". Замена будет плавной, по мере необходимости. Слишком мало еще денег в этом секторе телекоммуникаций. Каждый коммутатор в доме должен быть включен в узел отдельным волокном. Если на дом ставится два-три коммутатора, соответственно требуется два- три волокна. Так как линия идет по туннелю от дома к дому, придется использовать кабель минимум на 8 волокон, лучше - больше. Хотя с "резервом" не стоит слишком усердствовать. Расстояния внутри квартала небольшие, лишняя жилка будет стоить смешные $15-20. Но тут много муфт, и на каждой сварка, сплайс-пластина добавит "не лишние 10 баксов".
Вернемся опять к центральному узлу. Для подсчета внутрисетевого (межсегментного) трафика на данной схеме потребуется заменить только маршрутизатор на более мощный. А лучше сразу поставить что-то типа ПК с серверными Ethernet-контроллерами на разных PCI-X шинах и AMD64 +FreeBSD + Netgraph + NetFlow. Или Cisco 72xx - 75xx. Указанная на схеме (и имеющаяся в реальной сети) c1751 c NetFlow все равно по-человечески работать не сможет, да и более чем пару тысяч абонентов не обсчитает.
Впрочем, вариантов активного оборудования можно предложить просто огромное количество - все равно его стоимость малозаметна на фоне работы с оптоволокном, муфтами, ящиками, подводом питания и прочими хозвопросами.
Рис. 4. Вариант 3: Классика.
По магистральному туннелю прокладывается кольцом кабель, на котором строится гигабитный бэкбон, состоящий из 3-х узлов. К каждому из них подводятся волокна от всех домов обслуживаемого сектора (около 40-60 в 2-3 24-х волоконных кабелях).
К сожалению, топология туннелей не позволяет выводить кабели из районов сразу на узлы. Их придется стыковать через муфты с кабелем бэкбона, и уже по нему вести до нужного места. Что в свою очередь делает необходимым использование кольца из многоволоконного кабеля (порядка 48 волокон). Кабели более чем на 24 жилы делаются как правило на заказ - и стоят значительно дороже (добавить волокно в кабель менее 24 жил стоит $80, более - уже $180). Да и муфты потребуются дорогие, вероятно фирменные обслуживаемые типа 3M, Raychem.
Однако надежность такой сети будет (вероятно) выше, а эксплуатационные затраты ниже (так как меньше узлов, нуждающихся в серьезном внимании). Поэтому, несмотря на большие стартовые расходы, сбрасывать данный вариант со счетов не стоит.
По пропускной способности данная схема аналогична предыдущей (в сумме около двух гигабит), однако увеличить скорость в перспективе будет сложнее - 10G не собирается быстро дешеветь. Зато модифицировать 3 узла намного легче, чем 20. Так что назвать вариант, оптимальный в будущем, затруднительно.
Оборудование в данном случае можно расположить как показано на рисунке 5.
Рис. 5.
Структура проще, и, в общем, очевидна. Разве что нужно отметить использование модульных коммутаторов, которые позволяют компактно и просто разместить в ограниченном пространстве много десятков оптических портов.
Павел Нагибин, автор проекта NAG.ru.
Сетевые решения. Статья была опубликована в номере 09 за 2005 год в рубрике технологии
