От кабельной системы зависит многое

Валери Магайр
Валери Магайр — директор по стандартам и технологии в компании Siemon.

Для того чтобы организации могли извлечь максимум пользы из Интернета вещей и Больших Данных, кабельная инфраструктура ЦОД должна обеспечивать быструю и эффективную передачу данных для их последующей обработки, анализа и хранения. В данной статье рассматриваются существующие и ожидаемые прикладные стандарты, среды передачи данных и стратегии развертывания кабельных систем в ЦОД с учетом требований Больших Данных и Интернета вещей.

Все говорят, что Интернету вещей и Большим Данным нужна повышенная пропускная способность. Для работы с большими массивами сложных данных, поступающих из множества различных источников, требуется многократное повышение скорости передачи информации в облачных, коммерческих и корпоративных ЦОД. В значительной мере увеличение объемов данных обусловлено совершенствованием технологий датчиков и растущим числом устройств, подключенных к сетям IP, а также постоянным расширением спектра мобильной техники.

Сегодня ведущие организации стремятся эффективно использовать все эти данные для повышения уровня удовлетворенности клиентов, роста доходов, сокращения операционных затрат и увеличения производительности. Для того чтобы организации могли извлечь из Интернета вещей и Больших Данных максимум пользы, кабельная инфраструктура ЦОД должна обеспечивать быструю и эффективную передачу данных для их последующей обработки, анализа и хранения.

Независимо от того, находится ли ЦОД на аутсорсинге в облачном или коммерческом центре, обслуживается силами самой компании на своей собственной территории или представляет собой какую-то комбинацию двух этих вариантов, эффективное перемещение больших массивов сложных данных требует устойчивых соединений с малым временем задержки и высокой пропускной способности каналов связи между активным оборудованием на границе сети, коммутаторами ее ядра и сетью хранения. Вместе с тем кабельная инфраструктура ЦОД должна обеспечивать максимальную управляемость и масштабируемость в условиях непрерывного роста объемов данных и требований к пропускной способности.

Это становится возможным благодаря разработке новых отраслевых стандартов, совершенствованию кабельных технологий и улучшению  планировки инфраструктуры. Изучая существующие и будущие прикладные стандарты, типы сред передачи данных и стратегии развертывания, владельцы и операторы ЦОД неуклонно продвигаются вперед и повышают эффективность своей кабельной системы.

КАБЕЛЬНАЯ СИСТЕМА НА ГРАНИЦЕ СЕТИ

В зоне распределения — там, где коммутаторы доступа осуществляют передачу данных на конечные устройства (серверы приложений, узлы сети хранения и пр.), пропускная способность за последнее время выросла с 1 до 10 гигабит в секунду (Гбит/с).

Стандарт IEEE 10GBase-T Ethernet регламентирует передачу данных на скорости 10 Гбит/с по стандартному кабелю на основе витой пары категории 6A или выше на расстояние до 100 метров. В стандарте описан также режим укороченной передачи (с пониженным энергопотреблением) по кабелю категории 6A или выше на расстояние до 30 м. При протяженности кабельных каналов до 100 м и значительно более низкой цене трансиверов по сравнению с их аналогами для оптического кабеля медный кабель категории 6A и выше хорошо подходит для развертывания различных архитектур, связывающих коммутаторы с серверами, включая конфигурации, когда коммутаторы размещаются в верхней части стойки (Top of Rack, ToR), в середине ряда (Middle of Row, MoR) и в конце ряда (End of Row, EoR). Все эти конфигурации представлены на рис.1.

cable_system.png

Рисунок 1. Кабели категории 6A хорошо подходят для разнообразных архитектур, связывающих коммутаторы с серверами, в том числе для коммутаторов в конфигурациях ToR, MoR и EoR.

Другой вариант подключения конечных узлов на скорости 10 Гбит/с заключается в организации прямых соединений посредством коротких претерменированных компактных сменных (например, SFP+ и QSFP) твинаксиальных медных кабельных сборок. Ввиду ограничений на расстояние всего в 5-7 м применение этих сборок для прямого подключения возможно только в конфигурации ToR с размещением небольших коммутаторов доступа в каждом шкафу, где они непосредственно подключаются к оконечному оборудованию. Несмотря на то, что SFP+, QSFP и другие твинаксиальные кабельные сборки отличаются низким энергопотреблением и малым временем задержки, что может стать идеальным вариантом для построения суперкомпьютерных систем, здесь необходимо учитывать ряд особенностей.

Если стандартная кабельная система категории 6A и выше поддерживает автосогласование, то твинаксимальные сборки для прямого подключения — нет. Автосогласование — это способность коммутатора автоматически переключать каждый отдельно взятый порт на нужную скорость в зависимости от подсоединенного оборудования, что позволяет по мере необходимости проводить частичное обновление коммутаторов или серверов. Без автосогласования при модернизации коммутатора пришлось бы одновременно модернизировать все серверы, а это уже выливается в достаточно весомую сумму.

Если кабели категории 6A и выше совместимы с любыми коммутаторами Base-T, то некоторые поставщики коммутаторов ToR могут требовать использования более дорогих нестандартных твинаксиальных кабельных сборок для прямого подключения. При применении таких сборок вместе с оборудованием зачастую приходится менять и кабели. Другими словами, уже установленные кабельные сборки для прямого подключения при переходе на оборудование другого поставщика или более высокоскоростной коммутатор, возможно, придется заменить. Некоторые коммутаторы ToR при подключении кабелей к портам даже проводят проверку идентификаторов поставщика и при обнаружении чужого идентификатора выдают ошибку или блокируют порт. А поскольку благодаря последним техническим достижениям цены на коммутаторы 10GBase-T заметно упали, и их энергопотребление снизилось, для подключения коммутаторов к серверам имеет смысл использовать стандартные кабели категории 6A и выше.

Другой аргумент в пользу использования стандартной кабельной системы при подключении коммутаторов к серверам заключается в том, что скорости продолжают расти и начинают выходить за рамки 10 Гбит/с. Комитеты стандартизации ISO/IEC уже инициировали работы в области кабельных систем следующего поколения для поддержки стандарт IEEE 802.3bq Ethernet с пропускной способностью 25 и 40 Гбит/с (т.е., 25GBase-T и 40GBase-T) при использовании сбалансированного медного кабеля с витой парой. И 25GBase-T, и 40GBase-T построены на базе существующей и широко распространенной технологии 10GBase-T и предназначены для передачи данных на расстояние более 30 м по стандартизуемой проводке ISO/IEC класса I на основе компонентов Категории 8.1, а также проводке класса II из компонентов категории 8.2 рабочим диапазоном частот 2 ГГц. Проводка классов I и II  по-прежнему будет иметь открытые и общие спецификации, чем гарантируется интероперабельность и обратную совместимость с гораздо более широким спектром архитектур по сравнению твинаксиальными соединениями для прямого подключения.

Еще одним вариантом организации подключения конечных узлов может стать разрабатываемый сейчас стандарт IEEE 802.3by, где описывается передача данных на скорости 25 Гбит/с на расстояние до 100 м по многомодовому волоконно-оптическому кабелю или на расстояние до 5 м по двум парам (т.е. одной "линии") твинаксиального кабеля. Как ожидается, что на границе сети этот стандарт будет поддерживать прямое подключение коммутаторов к серверам с использованием кабельных сборок SFP28. Возможно, такой вариант станет идеальным для перехода на более высокие скорости для тех, кто уже знаком с применением SFP+ или других кабельных сборок в конфигурациях ToR.

МАГИСТРАЛЬНЫЕ ЛИНИИ

Если на границе сети позиции медного кабеля остаются достаточно устойчивыми, то для магистральных соединений коммутаторов друг с другом и в рамках сети хранения, как правило, лучше подходит многомодовый волоконно-оптический кабель. В этом случае длина канала превышает расстояние, поддерживаемое медным кабелем, а скорость передачи данных может варьироваться от 10 до 40 и 100 Гбит/с в сетях Ethernet и от 8 до 16 и 32 Гбит/с в сетях хранения, построенных на основе технологии Fibre Channel. Но и здесь у кабельной проводки есть свои особенности.

Передача со скоростью 40 Гбит/с (40GBase-SR4) и 100 Гбит/с (100GBase-SR4) осуществляется с помощью 8 многомодовых оптических волокон — 4 передающих и 4 принимающих с пропускной способностью 10 Гбит/с или 25 Гбит/с каждая. В этом случае используются 12-волоконные интерфейсы MPO/MTP с 12- или 24-волоконными магистральными кабелями. MPO/MTP представляют собой 12-волоконный оптический соединитель, но только 8 из этих волокон предназначены для передачи, поэтому 33% имеющейся оптической емкости остается неиспользованной. Для того чтобы обеспечить стопроцентное использование оптических волокон в приложениях 40 или 100 Гбит/с применяются специальные переходные шнуры или модули, передающие сигнал с двух 12-волоконных или одного 24-волоконного магистрального кабеля на три 8-волоконных интерфейса MTP при подключении оборудования 40 или 100 Гбит/с.

Для обеспечения устойчивой передачи оптических сигналов между коммутаторами в высокоскоростных каналах Ethernet и Fibre Channel необходимо учитывать бюджет на вносимые потери. Величина потерь зависит от протяженности кабеля и числа соединений внутри канала, и чем выше скорость, тем более жесткие требования предъявляются к величине потерь. К сожалению, в современных плоских архитектурах с меньшим числом уровней коммутаторов расстояния между ними увеличиваются, как и длина необходимых для этого кабелей, что может затруднить их прокладку. Использование распределительных пунктов или кроссов между коммутаторами помогает сократить длину кабелей и упрощает решение задачи. Однако, организация таких распределительных пунктов приводит к увеличению числа соединений и росту потерь внутри канала. Критическую роль в этом случае приобретает использование специальных соединителей MTP и волоконно-оптических кабелей с низким уровнем потерь.

К альтернативным вариантам соединений с пропускной способностью 40 и 100 Гбит/с в ЦОД относятся 40GBase-CR4 и 100GBase-CR10, которые поддерживают связь на расстоянии до 7 м по нескольким линиям твинаксиального кабеля (4 линии с пропускной способностью 10 Гбит/с или 10 линий с пропускной способностью 10 Гбит/с). Стандарты 40GBase-LR4 и 100GBase-LR4 обеспечивают передачу данных по одномодовому волокну на расстояние до 10 км, а интерфейс 100GBase-ER4 предназначен для организации связи между удаленными точками на расстоянии до 40 км.

Перспективные отраслевые стандарты, возможно, приведут к появлению нового широкополосного многомодового волокна с расширенным диапазоном поддерживаемых длин волн для технологии спектрального уплотнения (WDM). В отличие от существующих проприетарных дуплексных решений с пропускной способностью 40 Гбит/с, новое волокно будет представлять собой стандартную интероперабельную технологию, поддерживающую обратную совместимость с уже имеющимися многомодовыми волоконно-оптическими приложениями. Как ожидается, оно будет поддерживать дуплексные оптические соединения с пропускной способностью 40 или 100 Гбит/с с использованием каналов 10 или 25 Гбит/с на четырех различных длинах волн.

ЗАКЛЮЧЕНИЕ

Таким образом, при планировании кабельной системы в ЦОД следует учитывать ряд факторов как на границе сети при подключении коммутаторов к активному оборудованию, так и в ядре сети при прокладывании магистральных линий между коммутаторами. Для того чтобы организации могли воспользоваться преимущества революции Интернета вещей и эффективно управлять Большими Данными, владельцам и операторам ЦОД необходимо выбирать новейшую кабельную среду, которая поддерживала бы современные приложения, а стратегии ее развертывания должны обеспечивать требуемый уровень управляемости и масштабируемости.


Валери Магайр
Валери Магайр — директор по стандартам и технологии в компании Siemon.