про Ethernet, операторов, кроликов и деревья

— Почему Господь создал мир всего за три дня?
— Ему не надо было поддерживать совместимость…

«Ethernet в операторских сетях» уже наделал немало шуму и является предметом обсуждения в течение нескольких последних лет, анонсы оборудования и технологий выходят чуть ли не ежедневно. Однако это всего лишь Ethernet, со всеми его достоинствами и недостатками, и в отсутствие более или менее устоявшихся стандартов каждый производитель ищет свой путь для реализации достоинств и ликвидации (а чаще, сокрытия) недостатков.

Сразу оговорюсь, я не рассматриваю «Пупкин.net», созданный энтузиастами микрорайона по принципу «числом поболее, ценою подешевле». Тут все просто, какая цена — такая и надежность, а мы все же поговорим о тех, для кого SLA — не просто три заграничные буквы.
Я задаюсь вопросом: а можно ли сейчас сделать Ethernet с характеристиками «операторского» класса? Чтобы как телефонная сеть: поднял трубку — услышал гудок, с вероятностью где-то так 99.99999%? И что нынче по этому поводу думают монстры рынка? Можно ли вообще сделать сеть города-«миллионника» на Ethernet от абонента и до бэкбона, не прибегая к другим технологиям? Ну-ссс, поглядим!

а зачем, собственно?

Читая пресс-релизы, постепенно проникаешься мыслью, что вот оно, сейчас настанет счастье. Кругом дешевый Ethernet-транспорт, и никаких тебе проблем с дорогими синхронными каналами, инкапсуляциями и протоколами, маршрутизаторами и потоками Е1. Надо объединить несколько локалок — вот тебе в каждой точке по порту Ethernet, и все они слились в экстазе. Хочешь Internet — на тебе порт Ethernet и IP-адрес, или даже несколько. Скорости — гигабитные, живи и радуйся.
Переводя все на более технический язык, это просто Ethernet VPN (EVPN). Желающие могут пнуть меня за этот термин, но я видел кучу аббревиатур, большинство из которых означают по сути именно это, и не будем плодить сущностей более необходимого.
Это основа, так сказать, фундамент, все остальное — получается из первого. Если доступ в Интернет — то это EVPN между портами доступа и виртуальным портом маршрутизатора. Если объединение сетей — значить группа разбросанных по сети портов, объединенных в один EVPN. И так далее, покуда фантазия позволяет, что-угодно-поверх-Ethernet-или-IP.
Да, еще надо не забыть про качество: чтобы сколько обещано — столько было, что надо — доставлялось вовремя, короче чтобы SLA не только подписывать, но и иметь механизм реализации. И еще чтобы безопасно. Во всех отношениях.
Что получаем в итоге? Простую и понятную на уровне общей технической эрудиции услугу. Осталось только сделать так, чтобы себестоимость услуги была достаточно низкой — и вот оно, Светлое Будущее!

Ethernet — немного pro и побольше contra

Считая, что о достоинствах Ethernet сказано достаточно, поговорим о недостатках.
Нынешний Ethernet похож на свое начало точно так же, как любой автомобиль 2004 модельного года на первые модели Форда, еще до внедрения конвейера. Прогресс налицо. Однако основным двигателем этого прогресса были и остаются корпоративные сети, и большинство решений, позиционируемых как «операторский» Ethernet, несут на себе неизгладимый «корпоративный» штамп. Как ни верти, а получается большая такая локалка, со всеми ей присущими чертами. К числу наиболее безобразных шрамов, портящих милого лица черты, стоит отнести Spanning Tree и VLAN.
Spanning Tree взращивали много лет, его удобряли своими «приватными» технологиями гранды сетевого бизнеса. Но получилось как в том старом анекдоте — «на чемпионате по прыжкам через пропасть победитель недопрыгнул всего полметра». И характеристики его до сих пор далеки от тех, что привыкли видеть в своих сетях связисты. Как не верти, а секунда-полторы на реорганизацию сети при падении канала уходит, это вам не 50 ms для SDH или RPR. Кольцо тоже не больно построишь, да и максимальный маршрут по сети довольно здорово ограничен.
Конечно, растить деревце продолжают, удобряют со всем возможным усердием, под громкие лозунги. Тут тебе и «много деревьев», и «каждому VLAN свой STP», однако сколько к Жигулям спойлеров не прилаживай, формулу один не сделаешь, а вот сделать так, что разогнаться получится, а управлять только с большим трудом — вполне можно. Что и происходит: все улучшения и модернизации добавляют головной боли инженерам и повышают вероятность ошибки.
C VLAN приблизительно та же история. Когда их придумывали, никому и присниться не могло, что это технология для городских сетей. Потому и решили, что четыре тысячи VLAN ID — более чем за глаза, на всю жизнь хватит, еще и детям достанется. Детям владельцев корпоративных сетей — хватит, а вот операторам — маловато будет.
К числу последних по порядку, но не по важности, надо отнести тот факт, что коммутация происходит по MAC-адресу, соответственно адрес этот должен быть известен всем коммутаторам, через которые проходит пакет, в том числе и операторским. В случае использования сети для EVPN каждый порт — это не один MAC, а как карта ляжет. Может и один, а может и тысяча. И лимит в десять-пятнадцать тысяч записей в таблицах коммутации что-то уже не кажется столь большим.
И, наконец, о вкусном напоследок: о безопасности. Уж сколько сказано, что проблемы с безопасностью IP столь фундаментальны, что иначе, как изменением протокола их не решить. Так вот и с Ethernet то же самое. Достаточно просто генерировать много пакетов со случайными адресами, чтобы привести сеть в, мягко говоря, нестабильное состояние. Или просто несколькими пакетами отправить в кому алгоритм STP и поддерживать его в этом состоянии, пока не надоест. И пусть сеть стоит.
Да, конечно, можно отфильтровать, отполисить, тащить и не пущать. Сей процесс потребует много сил и времени, и не всегда приведет к желаемому результату. Errare humanium est, плюс мучительные поиски компромисса между трудоемкостью, функциональностью и безопасностью.

кролик лезет на дерево

«Не предназначены кролики для лазания» — это знает каждый. Вот так и получается, что для использования в качестве локальной сети POP оно самое то, маршрутизаторы между собою вязать — милое дело, и клиента подключить прямо к рутеру — тоже здорово. А вот делать EVPN в масштабе города — неочевидно. Но очень хочется.
Если нельзя, но очень хочется — значит можно. Что и доказывают целый ряд провайдеров, строящих свои сети по принципу корпоративных ЛВС, на самых обычных свичах, и не забивающих себе голову вопросами «идеологической правильности решения».
Это слой компаний, гораздо более продвинутых, чем простые домашние сети, но по географическим масштабам деятельности — максимум несколько районов. И у них все хорошо, разумная цена, мегабитные скорости, внутренний трафик без лимита, зато и без гарантий. Интернет побайтно, опять же без гарантий. Каждый абонент за себя, и один Бог за всех, работает — и хорошо, а постоит минутку — ничего страшного. На фоне диалапа через декадно-шаговую станцию — все просто супер.
Все бы хорошо, но смущают несколько моментов. Во-первых, услуга по сути одна — групповая IP-сеть с выходом в Интернет. Во вторых, пока количество абонентов не слишком велико, работает все отлично и безо всякого QoS, ибо сила есть — ума не надо.
Что будет, если мы попробуем отмасштабировать такое решение на весь город типа Питера? Да, в принципе, ничего, это даже какое-то время будет нормально работать, и если структура сети не «сложилась» а «спроектирована», то это время может оказаться больше периода окупаемости проекта.
Однако есть нюансы. Во первых, имея городскую сеть, хочется давать не только Интернет и Город-нет. Хочется объединять сети. Хочется давать телефонию. Хочется продать «последнюю милю» другим операторам. Много чего хочется. А почему нет? Ведь есть Q-in-Q, значит тысячу EVPN мы имеем, по 802.1p кое-как отприоритетим, а что до потенциальных проблем (см. выше) — ну так они же могут и не случиться… Упремся — разберемся. И кролик, срываясь и матерясь, медленно лезет на дерево.

Cisco: кролик с удлиненными когтями и огромная горилла

Как и было обещано, каждый производитель решает проблемы так, как может и считает нужным. Образно выражаясь, в случае с Cisco мы имеем кролика с удлиненными когтями, но ползает этот кролик только по тонким веткам. К кролику прилагается огромная горилла, способная мгновенно поднять кролика с уровня земли до кроны, но только по толстому стволу. Вот такой симбиоз.
Отходя от образности, поясню: корпоративной линейке коммутаторов прирастили «удлиненные когти» в виде поддержки Q-in-Q, многопортовых плат оптического Ethernet и функционала MPLS PE. Реально, без MPLS-гориллы ничего большого не получится. «Корпоративность» так и прет изо всех щелей, причем даже там, где ее меньше всего ожидаешь увидеть — в анонсированных совсем недавно коммутаторах под гордым именем «Metro Ethernet 3750». Отличий от обычных Catalyst 3750 не так много, пальцев одной руки хватит — два блока питания, поддержка Q-in-Q, несколько более продвинутая классификация и полисинг и, конечно, поддержка функций MPLS PE, причем насладится MPLS стоит «всего» $12000 GPL за соответствующую лицензию.
Во всем, что касается Ethernet и его коммутации на уровне 2, сей уважаемый бренд придерживается старых добрых корпоративных традиций — Rapid STP, 1024 VLAN, и строить что-то большое на таких вещих низззя. Политически неверно!
«Идеологически выдержанная» городская сеть в видении Cisco — это DPT, RPR, MPLS и прочие вещи, ассоциируемые с маршрутизаторами от $150K. Горилла стоит денег. А кролик остается кроликом, разве что чуть более способным к лазанию.

Nortel: Это кролик?!!!

Следующий «животновод» не чурается генной инженерии. Манипуляции в секретных лабораториях привели к тому, что в получившемся животном непросто узнать хорошо знакомого мохнатого зверька. Но это мало смущает экспериментаторов — ведь лазает не только шустро, но и весьма надежно, да и в разведении недорог.
Стратегия Nortel проста — решаем проблемы так, как считаем нужным. Потом сделаем это стандартом, если получится. Если не получится — значит состыкуемся с другими вендорами по стандарту, а внутри себя сделаем как лучше. Спорная мысль, но глянем на результат.
Итак, мы имеем хорошо знакомый по корпоративным сетям Passport 8600, но с другим ПО и со специально разработанным модулем 8668, от которого растягиваются гигабитные кольца доступа, причем именно кольца и ничто другое, так как обрыв кольца отрабатывается за 50 миллисекунд. В каждом кольце может стоять до 14 устройств доступа Metro Ethernet Services Unit 1800, по 24 абонентских порта 10/100 на каждом. В теории, с одного 10 слотового шасси таких колец можно запустить аж 28 штук, что нам дает 392 устройства MESU или почти девять с половиной тысяч абонентских портов.
Предвосхищая вопрос «сколько это может стоить» сразу отметим, что взяв для примера конфигурацию на 6 колец по 10 узлов каждое и пару гигабитных портов для связи с остальной частью сети, мы получим меньше $4000 за 24 портовую точку доступа или менее $200 долларов за абонентский порт 10/100. Это приблизительно равно стоимости одного одномодового конвертора Fast Ethernet, даже не пары.
Все это было бы не так интересно, если бы данное решение не было изначально «заточено» на EVPN. С первого взгляда кажется, что решены все основные проблемы.
За счет «фирменных», нестандартных протоколов и инкапсуляций количество доступных для использования оператором EVPN (или VLAN) увеличено с 4 тысяч до 16 миллионов. Вместо Spanning Tree в кольцах доступа работает собственный протокол с 50 миллисекундным переключением. А связать между собою коммутаторы, которых нужно не так много (на некрупный город — так и вообще один), можно самыми разными способами, в том числе 10G Ethernet. Благодаря относительно небольшому количеству коммутаторов, резервирование каналов между ними возможно с использованием не STP, а транков, и опять фирменная технология использована для переключения за те же пресловутые 50 мс. Да еще можно CWDM применить, развернуть кольцо в звезду двойных транков, и будет вполне надежная конструкция.
Что у нас еще осталось из проблем? MAC? Позаботились. Это называется MAC-in-MAC, на самой границе сети фреймы абонента инкапсулируются, и никто, кроме граничного коммутатора, с их MAC не работает, все работают со специальным MAC, принадлежащем граничному коммутатору. Отсюда и с безопасностью меньше проблем на порядок — пакет абонента так надежно «зарыт», что ничего оттуда не вырвется, пока это явно не вытащат.
А SLA? Как там с этим делом? Да вроде тоже все хорошо, доверяешь абоненту — используй его маркировку, не доверяешь — маркируй сам, и полисинг на месте, и с шагом в мегабит раздаем полосу.
Корень всего в том, что Nortel четко определил, где заканчивается сеть абонента и начинается сеть оператора. Они называют это Ethernet UNI. И начал рихтовать геном лохматого зверька под конкретную задачу. Где кролик? Нету. Кончился. Это уже другой зверь, которому дали новое имя со старой фамилией — SET (Switched Ethernet Transport).
Является ли это решение идеальным? Наверное, нет, ибо идеала не существует в природе. Однако оно, пожалуй, наиболее соответствует сформулированной задаче — городская сеть на чистом Ethernet.

разнообразие видов по Дарвину

Сказать что-то о двух компаниях и умолчать про остальные — было бы невежливо. А сделать полный анализ — нет возможности, да и тогда его надо будет продавать, ибо труд это немалый.
В той или иной степени все крупные производители прокричали о наличии в продуктовой линейке «лазающих кроликов». Крупные компании позволяют себе роскошь слегка «обогатить» корпоративную линейку функционалом и объявить о том, что решение MetroEthernet, которого так долго ждал рынок, наконец, готово. При хорошем маркетинге они и это продадут.
Реальный интерес с точки зрения техники представляют компании второго эшелона и небольшие стартапы, которые такой роскоши себе позволить не могут. Им приходится придумывать что-то новое. И на их фоне Nortel не выглядит большим оригиналом. Техническим эстетам порекомендую google по словам «Metro Ethernet Solution» и дальнейший продолжительный серфинг. Эстетическое удовольствие гарантировано.

что было, что будет

Кажется, уже никто не сомневается, что Ethernet-у в операторских сетях — быть. Каким он будет — вопрос пока открытый. Все компании, которые начали предоставлять EVPN или любые другие услуги с доступом по Ethernet, пока бодро рапортуют о притоке абонентов, в разы превышающем запланированный. Динамично развиваются домовые сети, которые не ставят себе цели быть «городским оператором», и потому им, возможно, не сильно интересны мои размышления. Дешевеет ADSL, развивается беспроводка.
Время все расставит на свои места. Один примет удачные решения — и технические, и маркетинговые — и на рынке вспыхнет новая звезда. Другой до последнего будет держаться за синхронные каналы и Frame Relay. Третий построит наспех сеть из корпоративных и SOHO-коммутаторов и, играя на понижение цены, будет до последнего бороться за место на рынке. Четвертый будет снижать цены на ADSL, а пятый запустит Интернет по своей сети КТВ. Пусть цветут все цветы! Рынок рассудит и выберет победителя.
И тогда, возможно, сбудется мечта идиота — и к моему компьютеру потекут недорогие мегабайты в секунду, может даже по каналу Ethernet.

Алексей Павлюц,Pavlyuts@mail.ru.