Безопасность в многоуровневой модели

Поддержка контрольных списков доступа (Access Control List) обеспечивается многоуровневой коммутацией без уменьшения производительности. В связи с тем, что весь трафик сети проходит через уровень распределения, то именно этот уровень и есть наиболее подходящее место для установки списков доступа и средств обеспечения разграничения прав доступа. Эти списки доступа могут также использоваться для ограничения взаимодействия коммутаторов на разных уровнях сети. В добавление необходимо отметить, что в такой сети обеспечивается поддержка протоколов централизованного управления правами доступа, таких как TACACS+ и RADIUS. Программное обеспечение Cisco IOS также обеспечивает несколько уровней авторизации и шифрование паролей пользователей. Сетевым менеджерам может быть предоставлен определенный набор команд по управлению отдельными участками сети.

Использование коммутации уровня 2 на уровне доступа и в фермах серверов привносит в общую сеть дополнительные возможности по разграничению прав доступа. На разделяемой среде передачи все пакеты видны для всех пользователей логической подсети. Это может быть использовано при взломе систем защиты данных, т.к. имеется возможность отслеживать передачу файлов и паролей пользователей. В коммутируемой же сети при взаимодействии двух узлов пакеты видны только отправителю и получателю данных. А также если коммутация уровня 2 применяется в фермах серверов, то весь межсерверный трафик не выпускается в общую сеть.

Для обеспечения функций безопасности и защиты данных в условиях глобальных сетей (Wide-Area Network, WAN) используется концепция брэндмауеров (firewall). Firewall имеет в своем составе один или несколько маршрутизаторов и выступает в качестве бастиона, защищающего внутренние узлы сети от доступа из специальной зоны, называемой DMZ (Demilitarized Zone). Специализированные устройства кэширования содержимого серверов WWW и другие устройства Firewall могут быть подключены к DMZ.

Внутренние маршрутизаторы Firewall подключаются к ядру кампусной сети, что можно назвать уровнем распределения WAN. На Рисунок 20 показан строительный блок сети, представляющий собой уровень распределения WAN с элементами Firewall.

Бриджинг в многоуровневой модели

Бриджинг в многоуровневой модели кампусной сети может применяться для передачи трафика немаршрутизируемых протоколов. Эти функции при взаимодействии уровня распределения с уровнем ядра выполняют модули RSM. В связи с тем, что каждая VLAN уровня распределения использует протокол IEEE Spanning Tree, то нет необходимости в конфигурировании бриджинг-группы на модуле RSM. Эффект бриджинга достигается тем, что все деревья STP объединяются в единое дерево, STP корнем которого становится модуль RSM. Однако, например, конфигурация бриджинг-группы STP для протокола DEC позволяет сохранить все остальные деревья независимыми.

Для обеспечения резервирования конфигурации мостов как показано на Рисунок 7 необходимо использовать ПО Cisco IOS версии 11.2(13)P или выше на всех модулях RSM. Cisco IOS версии 11.2(13)P имеет специальный набор функций, которые обеспечивают передачу BPDU (Bridge Protocol Data Unit) протокола DEC между модулями RSM коммутаторов Catalyst 5000. С предыдущими версиями программного обеспечения мосты DEC не видели друг друга в сети и не имели возможности блокировать резервные линии связи в топологии сети. При использовании предыдущих версий Cisco IOS необходимо убедиться в том, что между двумя любыми подсетями имеется только один мост. Например, RSM A является мостом для четных VLAN, а RSM B ? для нечетных.

Ядро ATM LANE

На Рисунок 26 показана сеть, построенная на основе многоуровневой модели с применением на уровне ядра технологии ATM LANE.

Ядро на основе Ethernet

Этот раздел содержит примеры конфигурации сети, построенной на основе многоуровневой модели, в ядре которой используется топология Ethernet.

представляет собой аппаратно реализованный

Коммутация уровня 2

Коммутация уровня 2 представляет собой аппаратно реализованный бриджинг. В частности передача кадров осуществляется специализированным оборудованием, называемым Application-Specific Integrated Circuit (ASIC). Коммутаторы уровня 2 заменяют концентраторы-повторители в составе коммуникационных узлов кампусной сети.

Увеличение производительности систем, построенных на коммутации уровня 2, по сравнению с сетями на концентраторах, достаточно велико. Рассмотрим рабочую группу из 100 пользователей на подсети, использующей 1 разделяемый сегмент Ethernet. Средняя полоса пропускания для каждого пользователя вычисляется путем деления общей полосы пропускания на количество пользователей, т.е. 10 Мбит/с на 100 пользователей, что составляет всего 100 Кбит/с. Замена концентратора на полнодуплексный коммутатор Ethernet приведет к тому, что средняя полоса пропускания для каждого узла составит удвоенную полосу пропускания всей сети, т.е. 20 Мбит/с. Общая пропускная способность коммутируемой рабочей группы на 100 пользователей в 200 раз больше пропускной способности аналогичной разделяемой рабочей группы. Ограничивающим фактором, препятствующим достижения высокой скорости обмена данными в такой сети, является подключение сервера на скорости 10 Мбит/с. Порт коммутатора, к которому подключается сервер рабочей группы, является узким местом коммутируемой сети. Высокая производительность коммутируемых сетей может явиться достаточным требованием для тех заказчиков, которые просто хотят увеличить число рабочих мест в каждой отдельной подсети. Увеличение количества узлов в отдельных подсетях называется плоским дизайном с несколькими подсетями или логическими сетями в кампусной сетевой системе.

Однако, несмотря на все преимущества, коммутация уровня 2 имеет те же характеристики и ограничения, что и сеть с использованием мостов. Широковещательные домены по-прежнему имеют те же ограничения по масштабируемости и производительности, что и сети, основанные на бриджинге. Количество широковещательных пакетов в общем трафике увеличивается прямо пропорционально количеству конечных узлов, и все узлы сети получают и обрабатывают эти пакеты. Ограничения протокола STP по блокированным линиям связи и низкому времени сходимости также применимы к сетям с коммутацией уровня 2.

представляет собой аппаратную маршрутизацию.

Коммутация уровня 3

Коммутация уровня 3 представляет собой аппаратную маршрутизацию. В частности, передачей пакетов занимаются специализированные устройства, т.е. ASIC. В зависимости от протоколов, интерфейсов и поддерживаемых функций коммутаторы уровня 3 могут использоваться в кампусных сетях вместо маршрутизаторов. Коммутаторы уровня 3, которые поддерживают стандартную перезапись заголовков пакетов и увеличение поля TTL (Time-To-Live) в этих заголовках мы будем называть пакетными коммутаторами уровня 3 (packet-by-packet Layer 3 switch).

Высокопроизводительная коммутация уровня 3 применяется в двух различных случаях. Коммутатор Cisco 12000 Gigabit Switch Router (GSR) применяется в целях создания сети с высокоскоростной коммутацией, ограниченной лишь способностями кабельной системы, на единой коммутирующей матрице. Семейство многоуровневых коммутаторов Catalyst® обеспечивают коммутацию уровня 3 вместе с аппаратурой ASIC, встроенной в управляющие модули Supervisor Engine. Пакетные коммутаторы Cisco соответствуют всем промышленным стандартам и могут применяться в качестве быстрых маршрутизаторов к внешним устройствам.

Коммутация уровня 3 в представлении Cisco Systems в семействе коммутаторов Catalyst объединяет в себе полную поддержку многопротокольной маршрутизации в программном обеспечении Cisco IOS и аппаратную коммутацию уровня 3. Управляющий модуль Route Switch Module (RSM) является маршрутизатором, базирующимся на ПО Cisco IOS, с таким же RISC (Reduced Instruction Set Computing) процессором, что и в функциональном модуле RSP2 в маршрутизаторах старшего класса Cisco 7500. Аппаратная коммутация уровня 3 обеспечивается аппаратурой ASIC, установленной на функциональном модуле NetFlow. Модуль NetFlow является дочерним модулем для устройства Supervisor Engine в коммутаторах Catalyst.

в аппаратном анализе трафика, создаваемого

Коммутация уровня 4

Коммутация уровня 4 заключается в аппаратном анализе трафика, создаваемого различными типами пользовательских приложений. В потоках данных, создаваемых протоколами TCP (Transmission Control Protocol) и UDP (User Datagram Protocol), порт того или иного приложения содержится в заголовке каждого пакета. Маршрутизаторы Cisco имеют набор функций для анализа информации протоколов уровня 4, что при использовании списков доступа (Access List) позволяет управлять потоками данных. Управление потоками данных осуществляет функциональный модуль NetFlow.

Многоуровневые коммутаторы семейства Catalyst могут быть опционально сконфигурированы как коммутаторы уровня 3, так и как коммутаторы уровня 4. При работе в качестве коммутатора уровня 3 функциональный модуль NetFlow производит кэширование потоков данных исходя из адресов узлов-приемников (IP destination address), а при работе в качестве коммутатора уровня 4 кэширование базируется на адресах источника и приемника (source/destination address) и на номерах портов протокола уровня 4 (source/destination port). В связи с тем, что функциональный модуль NetFlow производит коммутацию пакетов аппаратно, то нет никакого отличия по скорости обработки данных при работе в том или ином режиме. В том случае, если соображения обеспечения безопасности и защищенности данных требуют раздельного подхода к номерам портов протоколов уровня 4 (а другими словами ? есть необходимость фильтрации трафика, генерируемого разными приложениями), следует использовать коммутаторы в качестве коммутаторов уровня 4.

Компоненты многоуровневой модели

Производительность многоуровневой коммутации соответствует требованиям новой модели распределения трафика 20/80. В составе коммутаторов семейства Catalyst 5000 присутствуют два компонента многоуровневой коммутации ? управляющий модуль RSM и функциональный модуль NetFlow. RSM представляет собой многопротокольный маршрутизатор, работающий под управлением операционной системы Cisco IOS и выполненный в виде модуля к коммутатору. Производительность и набор функций модуля аналогичны маршрутизаторам серии Cisco 7500. NetFlow выполнен в виде дочернего модуля для управляющего модуля Supervisor Engine. NetFlow обеспечивает функции коммутации как уровня 3, так и уровня 2, обеспечивая специализированное оборудование ASIC. Необходимо отметить, что нет никаких особых преимуществ по производительности у коммутации уровня 3 перед коммутацией уровня 2 с использованием модуля NetFlow.

На Рисунок 6 показана простая кампусная многоуровневая сеть.

Маршрутизация и масштабируемость

Маршрутизатором называется пакетный коммутатор, обеспечивающий взаимодействие разных широковещательных доменов. Маршрутизаторы перенаправляют пакеты узлам сети ориентируясь на сетевые адреса, известные также как адреса доступа к среде (Media Access Control address, MAC-address). Сети с маршрутизаторами обладают лучшими возможностями по масштабированию по сравнению с сетями, построенными с использованием мостов. Это достигается за счет более интеллектуального управления трафиком. Маршрутизаторы используют маршрутные протоколы, такие как OSPF и EIGRP, которые позволяют маршрутизаторам обмениваться между собой информацией о достижимости тех или иных подсетей.

В сравнении с протоколом STP маршрутные протоколы обладают рядом преимуществ:

Разделение нагрузки между несколькими маршрутами с одинаковой административной стоимостью (применительно к оборудованию Cisco);

Обнаружение наилучшего маршрута между подсетями (имеются в виду административные установки и расчет количества метрик маршрута);

Меньшее время сходимости протокола при внесении изменений в топологию сети;

Сбор информации обо всех сетях, что обеспечивает улучшенные возможности по масштабированию.

В добавление необходимо отметить, что маршрутизаторы Cisco Systems обладают дополнительными функциями по контролю над широковещательным трафиком, что обеспечивает еще большую масштабируемость и управляемость кампусных сетей. Эти функции заложены в программное обеспечение Cisco IOS?, которое функционирует как на маршрутизаторах, так и на многоуровневых коммутаторах компании. Программное обеспечение IOS имеет наборы дополнительных функций для всех кампусных протоколов, включая:

TCP/IP;

AppleTalk;

DECnet;

Novell IPX;

IBM Systems Network Architecture (SNA), data-link switching (DLSw), Advanced Peer-to-Peer Networking (APPN).

В сети, использующей маршрутизаторы, вводится понятие диаметр, которое представляет собой количество промежуточных маршрутизаторов между крайними узлами сети. Как показывает практика, хорошим дизайном сети является тот, при котором это понятие является сбалансированным. На Рисунок 1 показана типичная иерархическая модель сети, объединяющей в себе маршрутизаторы и концентраторы-повторители (хабы). Диаметр такой сети в любом ее месте составляет 2 маршрутизатора. Расстояние от конечной станции до сервера на магистрали Fiber Distributed Data Interface (FDDI) составляет 1 маршрутизатор (хоп).

Масштабирование полосы пропускания

Соединения Ethernet в сети, построенной на основе многоуровневой модели, могут масштабироваться несколькими путями. Ethernet может быть заменена на Fast Ethernet. Fast Ethernet может заменяться на Fast EtherChannel, Gigabit Ethernet или Gigabit EtherChannel. Коммутаторы уровня доступа могут входить в состав нескольких VLAN, будучи подключенными к ним несколькими линиями связи. Мультиплексирование VLAN по протоколу ISL может происходить не по одному, а по нескольким физическим соединениям.

Технология Fast EtherChannel объединяет две или четыре линии связи Fast Ethernet в один высокоскоростной канал. Технология Fast EtherChannel поддерживается маршрутизаторами семейства Cisco 7500 с ПО Cisco IOS, начиная с версии 11.1.14CA. Технология также поддерживается интерфейсными модулями Fast EtherChannel и управляющими модулями Supervisor Engine II и Supervisor Engine III для коммутаторов семейства Catalyst 5000. Технология анонсирована несколькими производителями оборудования, включая Adaptec, Auspex, Compaq, Hewlett-Packard, Intel, Sun Microsystems и Znyx. При помощи каналов Fast EtherChannel корпоративные серверы могут быть подключены к магистралям ядра сети на скоростях 400 и 800 Мбит/с.

Многоуровневая модель

Модель с маршрутизатором и концентратором

На Рисунок 1 показана кампусная сеть, построенная по традиционной модели с маршрутизаторами и концентраторами. Устройствами уровня доступа такой сети являются концентраторы, которые представляют собой повторители уровня 1. Уровень распределения состоит из маршрутизаторов. Уровень ядра состоит из концентраторов FDDI или других концентраторов, функционирующих в качестве повторителей уровня 1. Маршрутизаторы на уровне распределения обеспечивают управление широковещательными пакетами и сегментирование сети. Каждый концентратор уровня доступа представляет собой логическую сеть или подсеть и имеет одно подключение к порту маршрутизатора. Также необходимо отметить, что несколько концентраторов уровня доступа могут каскадироваться между собой, образуя, таким образом, одну логическую сеть.

Такая модель сети обладает некоторыми возможностями масштабирования благодаря функциям маршрутных протоколов, таких как OSPF и EIGRP. Уровень распределения служит демаркационной линией между сетями уровня доступа и сетью уровня ядра. Маршрутизаторы уровня распределения обеспечивают сегментирование, что позволяет разделить как коллизионные, так и широковещательные домены. Эта модель сети достаточно разделена на составные части, чтобы обеспечить упрощение выполнения функций управления и поиска неисправностей. Эта модель также достаточно хорошо подходит для использования всех сетевых протоколов, таких как Novell IPX, AppleTalk, DECnet и TCP/IP.

Модель сети с маршрутизаторами и концентраторами конфигурируется и поддерживается напрямую благодаря ее модульности. Каждый маршрутизатор уровня распределения программируется с одинаковым набором функций. Общие элементы конфигурации могут без изменений переноситься с одного маршрутизатора на другой. Благодаря похожести конфигурации маршрутизаторов значительно упрощается выполнение функций поиска и устранения неисправностей. Пакетная коммутация уровня 3 использует набор служб, распределенных между всеми маршрутизаторами уровня распределения.

Традиционная модель кампусной сети с маршрутизаторами и концентраторами может наращиваться с целью увеличения производительности. Разделяемое пространство уровня доступа и ядра может быть переведено на коммутацию уровня 2, а уровень распределения может быть расширен для выполнения функций коммутации уровня 3 с элементами многоуровневой коммутации. Наращивание разделяемых областей сети с повторителей уровня 1 до коммутаторов уровня 2 не вызовет внесения изменений в схему адресации и логическую структуру сети, что обеспечит отсутствие необходимости внесения изменений в конфигурацию маршрутизаторов.

Модель с распространением VLAN по всему кампусу

На Рисунок 3 показана обыкновенная модель сети с распространением VLAN по всему кампусу.

в основе традиционных моделей кампусных

Новое правило 80/20

Обычное правило 80/20 лежит в основе традиционных моделей кампусных сетей, обсуждение которых представлено в предыдущих разделах документа. При использовании модели с распространением VLAN по всему кампусу локальные рабочие группы распределены по всей сети, однако, 80% трафика сети все так же сосредоточено внутри VLAN. Оставшиеся 20% трафика передаются в общую сеть или другие подсети через маршрутизатор.

Традиционная модель трафика 80/20 появилась в связи с тем, что каждый департамент или рабочая группа имела свой локальный сервер. Локальные серверы использовались в качестве файловых серверов, серверов авторизации пользователей и серверов приложений в рамках одной рабочей группы. Модель трафика 80/20 резким образом изменилась при появлении корпоративных интрасетей и приложений, опирающихся на распределенные сервисы IP.

Многие новые и существующие приложения переходят на распределенную технологию хранения и поиска данных WWW (World Wide Web). Распределение трафика в кампусных сетях приняло обратные значения, и теперь все чаще происходит ссылка на правило 20/80. При использовании правила 20/80 лишь 20% трафика концентрируются в сети рабочей группы, а остальные 80% трафика передаются в кампусную сеть.

Обсуждение вопросов масштабирования

Многоуровневая модель сети изначально масштабируется. Масштабирование коммутации уровня 3 объясняется тем, что сама по себе коммутация является распределенной. Производительность ядра системы масштабируется при добавлении дополнительных линий связи или коммутаторов. Индивидуальные коммутируемые домены или сети в корпусах здания могут быть увеличены до 1000 рабочих мест с сохранением на уровне распределения двух коммутаторов, обеспечивающих функции резервирования. Дополнительные строительные блоки сети или блоки серверов могут быть добавлены без изменения самой модели сети. В связи с тем, что такая модель сети в значительной степени структурирована, то масштабируемость возможна еще и с точки зрения управления и администрирования такой сети.

На всем протяжении обсуждения многоуровневого дизайна кампусных сетей мы говорили о том, что на уровне ядра такой сети нет и не может быть петель протокола STP. Протокол STP обеспечивает время сходимости маршрутизирующих протоколов в 40-50 секунд и не обеспечивает разделения нагрузки между параллельными маршрутами. На сегментах Ethernet в нашем примере петель нет. На уровне соединений ATM функции разделения нагрузки выполняет протокол PNNI. В любых ситуациях ?интеллектуальные? протоколы маршрутизации уровня 3, такие как OSPF и EIGRP, обеспечат выполнение функций поиска оптимального маршрута и разделения нагрузки по нескольким маршрутам на уровне ядра.

Объем трафика протокола OSPF возрастает линейно в зависимости от числа установленных коммутаторов уровня распределения. Это происходит из-за того, что протокол OSPF выбирает один основной и один резервный маршрутизатор (Designated Router) для работы со всеми коммутаторами уровня 3 на уровне распределения. Если на одном соединении находятся две VLAN или ELAN, то для каждой из них будет выбран основной и резервный маршрутизатор. В связи с этим уровень трафика протокола OSPF и нагрузка на центральные процессоры (CPU) устройств будут возрастать в зависимости от числа VLAN или ELAN. Для предотвращения чрезмерного увеличения трафика и нагрузки на CPU рекомендуется создавать на уровне ядра сети как можно меньше VLAN или ELAN. Для больших сетей ATM LANE рекомендуется создать две ELAN, как это описано ранее в разделе ?Ядро с применением ATM LANE? настоящего документа.

Другим важным аспектом обсуждения масштабируемости OSPF является проблема большого размера маршрутных таблиц в крупных сетях и большое количество пакетов обновления этих таблиц (route update). Для крупных сетей подсети, входящие в состав корпуса здания, объединяются в области OSPF (OSPF Area), а коммутаторы уровня распределения конфигурируются на выполнение функций пограничных маршрутизаторов (Area Border Router, ABR). Эти маршрутизаторы собирают информацию обо всех подсетях внутри своей области, создают собственные таблицы маршрутов и посылают в общую сеть всего одно обновление. Это уменьшает количество служебной маршрутной информации в общей сети и увеличивает достоверность маршрутных таблиц. В случае с протоколом EIGRP следует поступать аналогичным образом.

Однако не все маршрутизирующие протоколы работают одинаково. Протоколы RTMP (AppleTalk Routing Table Maintenance Protocol), SAP (Novell Server Advertisement Protocol) и RIP (Novell Routing Information Protocol) могут создавать служебный трафик, уровень которого согласуется с количеством узлов. Например, скажем, что в сети установлены 12 коммутаторов уровня распределения, имеющих подключения к ядру сети и работающих с протоколом Novell SAP. Если во всем кампусе установлено 100 узлов, рассылающих анонсы SAP, то каждый коммутатор уровня распределения будет передавать 100/7 = 15 таких анонсов в ядро сети каждые 60 секунд. Все 12 коммутаторов, соответственно, будут отправлять 12 * 15 = 180 анонсов SAP каждые 60 секунд. Программное обеспечение Cisco IOS имеет такие встроенные функции, как фильтрация пакетов SAP, которые позволяют передавать анонс только в случае изменения конфигурации соответствующих серверов Novell, при их добавлении или выключении. Пусть 180 пакетов в минуту не такое уж большое число. Но представьте себе, что произойдет, если количество коммутаторов уровня распределения возрастет до 100, а количество узлов, предоставляющих какие-либо сервисы Novell до 1000? На Рисунок 18 показана структура ядра ATM большой кампусной сети.

Обсуждение вопросов проектирования кампусной сети

Плоские сети с применением мостов

Первоначально кампусные сети представляли собой единую локальную вычислительную сеть (ЛВС, LAN, Local-Area Network), к которой по необходимости добавлялись новые пользователи. Эти ЛВС имели логический или физический кабель, к которому подключались все устройства сети. В случае с Ethernet имелась полоса пропускания в 10 Мбит/с, которая в равной мере использовалась всеми узлами сети. Такая ЛВС образовывала единый коллизионный домен, в котором все пакеты в равной степени обрабатывались всеми устройствами. В такой ЛВС использовался метод передачи, называемый ?множественный доступ с контролем несущей и обнаружением коллизий? (Carrier Sense Multiaccess With Collision Detection, CSMA/CD). При таком подходе возникновение коллизий в таких ЛВС было обычным делом, что приводило к тому, что реальная скорость сети была значительно ниже расчетной.

При достижении максимального числа пользователей в одном коллизионном домене появлялась необходимость добавления в состав оборудования ЛВС устройств, называемых мостами (Bridge). Мост обеспечивал разделение всей ЛВС на несколько коллизионных доменов, что позволяло увеличить доступную полосу пропускания для каждого узла сети за счет сокращения количества этих самых узлов в одном коллизионном домене. Мост можно условно назвать коммутатором, работающим по принципу ?store-and-forward?. Мост производит распространение широковещательных (broadcast), многоцелевых (multicast) и неизвестных одноцелевых (unknown unicast) пакетов по всем сегментам сети. Таким образом, можно сказать, что все сегменты такой сети образуют единый широковещательный домен.

Для предотвращения возникновения петель в такой сети был разработан протокол Spanning Tree Protocol (STP), обеспечивающий, кроме того, маршрутизацию потоков данных в обход сбойных элементов активного сетевого оборудования.

Ниже приведены основные характеристики широковещательного домена STP:

Резервные линии связи заблокированы и не несут в себе трафика данных;

Между различными точками сети имеются несколько альтернативных маршрутов;

Время сходимости протокола STP обычно составляет 40-50 секунд;

Широковещательный трафик уровня 2 обрабатывается каждым узлом сети;

Возникновение широковещательных ?штормов? на уровне 2 сказывается на всем домене;

Локализация и устранение неисправностей требует больших затрат времени;

Степень защищенности данных на уровне 2 сильно ограничена.

Теоретически количество широковещательного трафика устанавливает практический предел размеров широковещательного домена. На практике же происходит так, что управление и поиск неисправностей в такой сети усложняются прямо пропорционально количеству подключенных пользователей. Одна неправильно настроенная рабочая станция может вывести из строя весь широковещательный домен на достаточно длительное время.

При проектировании сетей с использованием мостов каждый сегмент сети ставился в соответствие рабочей группе. Сервер рабочей группы располагался в том же сегменте, что и его клиенты, что обеспечивало ограничение трафика, передаваемого по всей сети. Здесь необходимо упомянуть о правиле 80/20, по которому строились такие ЛВС. Это правило гласит, что 80% трафика, генерируемого рабочей станцией, не должно выходить за пределы локального сегмента.

Поддержка IP Multicast

Приложения, использующие IP Multicast, составляют пока небольшую, но постоянно растущую часть корпоративных интрасетей. Такие приложения как IP/TV, Microsoft NetShow и NetMeeting находятся на стадии испытаний и внедрения. Для обеспечения эффективной поддержки IP Multicast необходимо рассмотреть следующие аспекты:

Многоцелевая маршрутизация (Multicast Routing), протокол PIM (Protocol Independent Multicast) в режимах плотного и разреженного трафика (Dense Mode и Sparse Mode);

Подключение клиентов и серверов к группам многоцелевой рассылки по протоколу IGMP (Internet Group Management Protocol);

Ограничение многоцелевых деревьев (Multicast Tree) при помощи протокола CGMP (Cisco Group Management Protocol) или при распространении трафика протокола IGMP;

Производительность коммутаторов и маршрутизаторов при передаче трафика IP Multicast;

Вопросы разграничения доступа при работе с IP Multicast.

Основным протоколом маршрутизации трафика IP Multicast является протокол PIM. В режиме малой насыщенности (Sparse Mode) этот протокол описан в документе RFC-2117, в режиме же большой насыщенности (Dense Mode) этот протокол описан в стандартизующих документах. Протокол PIM нашел широкое применение как в сети Интернет, так и в корпоративных интрасетях. Как видно из названия, протокол PIM работает со многими маршрутизирующими одноцелевыми (unicast) протоколами типа OSPF или EIGRP. При необходимости маршрутизаторы протокола PIM могут взаимодействовать с протоколом DVMRP (Distance Vector Multicast Routing Protocol). Протокол DVMRP является маршрутизирующим протоколом, внедренным в свое время в магистрали MBONE (Internet Multicast Backbone). В настоящее время примерно 50% магистрали MBONE переведена на протокол PIM, окончательная замена протокола DVMRP протоколом PIM ожидается в ближайшее время.

Протокол PIM поддерживает работу в двух режимах ? Dense и Sparse. Режим Dense используется при работе таких приложений, как IP/TV, при которых один сервер осуществляет рассылку сообщений большому числу клиентов по всему кампусу. Режим Sparse используется на уровне рабочих групп приложениями типа NetMeeting. В любом режиме протокол PIM обеспечивает построение эффективных деревьев IP multicast, которые способствуют минимизации общего количества трафика в сети. И это немаловажно при использовании приложений, требующих наличия высокоскоростной полосы пропускания, таких как видеотрансляции реального времени. В большинстве случаев протокол PIM сконфигурирован так, что режим его работы выбирается автоматически.

Протокол IGMP используется серверами и клиентами IP multicast для присоединения к группам рассылки или для распространения по сети информации об этих группах. Локальный основной маршрутизатор (Default Gateway Router) передает трафик IP Multicast в локальную подсеть только в том случае, если на этой подсети имеются активные клиенты IP Multicast. При их отсутствии передача этого типа трафика блокируется. Протокол CGMP обеспечивает еще более широкие возможности для управления таким трафиком на коммутаторах Catalyst. Маршрутизатор Cisco посылает по сети сообщение CGMP, содержащее все MAC-адреса узлов, принадлежащих группе рассылки IP Multicast. Коммутаторы Catalyst получают эти сообщения и начинают передавать многоцелевые пакеты только в те свои порты, к которым подключены указанные в сообщении CGMP узлы. Это блокирует передачу такого трафика тем коммутаторам, у которых на интерфейсных портах нет ни одного узла-клиента группы рассылки.

Архитектура коммутаторов Catalyst 5000 позволяет им передавать многоцелевой поток данных в один, несколько или во все интерфейсные порты без существенной разницы в нагрузке на центральный процессор коммутатора. Коммутаторы Catalyst обеспечивают поддержку сразу нескольких групп рассылки одновременно без снижения скорости передачи пакетов.

Одним из путей решения проблемы разграничения прав доступа при работе с трафиком IP Multicast является тот путь, при котором серверы IP Multicast располагаются за коммутатором Catalyst X, как показано на Рисунок 17.

Преимущества многоуровневой модели

Мы обсудили несколько вариантов многоуровневой модели дизайна кампусной сети. Независимо от того, используется ли ядро, основанное на коммутации кадров Ethernet или на коммутации ячеек ATM, такой подход к проектированию имеет ряд общих преимуществ. Все части модели в значительной степени структурированы, что позволяет облегчить выполнение функций управления и поиска неисправностей. Модульность каждого строительного блока сети обеспечивает хорошие возможности масштабирования при добавлении новых корпусов здания и серверных ферм. ?Интеллектуальные? маршрутизирующие протоколы уровня 3, такие как OSPF и EIGRP, обеспечивают выполнение функций разделения нагрузки и восстановления после сбоев внутри основных магистралей уровня ядра. Сохраняется та же модель адресации и логическая структура сети, что и в случае применения модели с маршрутизаторами и концентраторами, что обеспечивает удобный путь миграции от существующих сетей. Множество дополнительных функций ПО Cisco IOS, таких как кэширование серверов, туннелирование и объединение маршрутных таблиц встроены в коммутаторы Catalyst на уровне распределения. Функции обеспечения защиты данных также встроены в устройства уровня распределения и в коммутаторы распределения серверов в виде списков доступа (access list).

Резервирование и быстрая сходимость алгоритмов поиска оптимальных маршрутов обеспечиваются такими функциями, как UplinkFast и HSRP. Масштабирование производительности путем замены линий связи Fast Ethernet на Fast EtherChannel или Gigabit Ethernet не требуют пересмотра стратегии организации защиты данных и разграничения прав доступа. Благодаря большому набору дополнительных функций ПО Cisco IOS обеспечивается поддержка всех общих сетевых протоколов, встречающихся в кампусных сетях, включая TCP/IP, AppleTalk, Novell IPX, DECnet, IBM SNA, NetBIOS и многие другие. Большое количество успешных проектов организации крупных кампусных сетей выполнено в применением многоуровневой модели проектирования. Это позволяет избежать проблем, связанных с масштабированием, которые обычно возникают в сетях с применением мостов. И, наконец, многоуровневая модель проектирования обеспечивает включение в состав сети коммутации уровня 3, причем это не вызывает уменьшения скорости обработки трафика по сравнению с применением коммутации уровня 2.

А. Внедрение многоуровневой модели

Приложение А. Внедрение многоуровневой модели

Расположение серверов

Наиболее общим решением этого вопроса в корпоративных сетях является централизация серверов. В некоторых случаях сетевые службы концентрируются на едином сервере. В других случаях все серверы устанавливаются в специальных серверных или аппаратных помещениях для обеспечения физической безопасности и простоты управления. В то же время все чаще рабочие группы или индивидуальные пользователи публикуют свои собственные страницы WWW локально и делают их доступными из всей сети.

При использовании централизованных серверов весь трафик ?клиент-сервер? проходит через одно промежуточное устройство (hop) от подсети уровня доступа до подсети уровня ядра. Контроль за разграничением прав доступа ведется с помощью списков доступа (access list) на уровне распределения. На Рисунок 14 сервер W подключен к подсети уровня ядра по топологии Fast Ethernet.

Резервирование и разделение нагрузки

Коммутатор уровня распределения, показанный на Рисунок 6, демонстрирует точку сбоя в строительном блоке сети. Одна тысяча пользователей, расположенных в корпусе A, в случае сбоя электропитания потеряет соединение с основной магистралью сети. Если произойдет сбой соединения между коммутатором уровня распределения и уровня доступа, то соединение с основной магистралью сети потеряют 100 пользователей, расположенных на этажах корпуса.

Традиционная кампусная

Рисунок 1. Традиционная кампусная сеть с применением маршрутизаторов и концентраторов

Технология виртуальных сетей (VLAN)

Рисунок 2. Технология виртуальных сетей (VLAN)

Магистральное соединение VLAN между двумя коммутаторами уровня 2 позволяет мультиплексировать трафик нескольких логических сетей в одном соединении. Магистральное соединение VLAN между коммутатором уровня 2 и маршрутизатором позволяет маршрутизатору быть подключенным сразу к нескольким логическим сетям через один физический интерфейс. На Рисунок 2 показано, что магистральное соединение VLAN (VLAN trunk) позволяет серверу X взаимодействовать со всеми VLAN одновременно. Линии связи, обозначенные желтым цветом на Рисунок 2 являются магистральными соединениями VLAN, использующими протокол ISL (Inter-Switch Link) и обеспечивающими передачу трафиков всех имеющихся VLAN (pink, purple и green).

Протоколы ISL, 802.10 и 802.1q являются описательными протоколами (tagging protocols), разработанными для обеспечения работы технологии VLAN Trunking. Здесь необходимо ввести понятие тэга VLAN. Тэг VLAN ? это целое число, внедренное в заголовок кадров, передаваемых между двумя устройствами. Уникальное значение тэга при передаче трафиков разных VLAN позволяет мультиплексировать и демультиплексировать трафики этих VLAN при использовании одной физической линии.

Технология ATM LANE обеспечивает передачу трафиков нескольких логических сетей через единую коммутируемую инфраструктуру ATM. Эмулированные сети (ELAN) используют похожий принцип идентификации трафиков различных логических сетей, что и протоколы ISL, 802.10 и 802.1q и являются совместимыми с технологией Ethernet VLAN. На Рисунок 2 модули LANE в коммутаторах Catalyst B и C работают в качестве клиентов LANE (LEC) и обеспечивают прохождение VLAN pink, purple и green через магистраль ATM. Сервер D подключен непосредственно к ATM и является клиентом LANE для ELAN pink, purple и green. Таким образом, сервер D может напрямую взаимодействовать с узлами, входящими в состав VLAN pink, purple и green.

Технология ATM LANE эмулирует передачу широковещательного протокола Ethernet через линии ATM, ориентированные на соединение. На Рисунок 2 не показаны такие компоненты технологии, как LANE Configuration Server (LECS), LANE Server (LES) и Broadcast and Unknown Server (BUS), необходимые для обеспечения работы сети ATM как сети Ethernet. Функции LECS и LES/BUS поддерживаются программным обеспечением Cisco IOS, устанавливаемым на коммутаторы Cisco LightStream 1010 и Catalyst 5000 с модулем LANE, или на маршрутизатор с интерфейсом ATM.

Узлы, подключенные к Ethernet и относящиеся к разным VLAN, не могут взаимодействовать между собой. На Рисунок 2 клиент Z, относящийся к VLAN green, не может работать с сервером Y, относящимся к VLAN pink. Это происходит из-за того, что между VLAN pink и green нет ни одного маршрутизатора.

Традиционная модель

Рисунок 3. Традиционная модель сети с распространением VLAN по всему кампусу

Коммутация уровня 2 используется на уровнях доступа, распределения и ядра сети. Четыре рабочих группы, показанные на Рисунок 3 синим (blue), розовым (pink), пурпурным (purple) и зеленым (green) цветами распространяются между различными коммутаторами уровня доступа. Взаимодействие между рабочими группами обеспечивается маршрутизатором X, имеющим подключение ко всем четырем VLAN. Сервисы и коммутация уровня 3 сосредоточены в маршрутизаторе X. Корпоративные серверы, показанные ниже маршрутизатора, подключены раздельными логическими сетями, обозначенными черным цветом.

Физические соединения маршрутизатора X к разным VLAN заменяются одним магистральным соединением ISL (ISL trunk). Маршрутизатор X в таком варианте подключения принято называть ?маршрутизатором на палочке? (router on a stick) или ?одноруким маршрутизатором (one-armed router). Для разделения нагрузки можно использовать несколько маршрутизаторов, подключенных к нескольким или ко всем VLAN. Трафик между рабочими группами проходит следующий путь: сначала данные от исходящей VLAN проходят через кампус к маршрутизатору, а затем возвращаются обратно к VLAN, которой они предназначены.

На Рисунок 4 показан обновленный вариант сети с распространением VLAN по всему кампусу, предоставляющий преимущества многоуровневой коммутации. Коммутатор X представляет собой устройство семейства Catalyst 5000. Однорукий маршрутизатор заменен модулем RSM, а аппаратная коммутация уровня 3 выполняется функциональным модулем NetFlow.

Сеть с распространением

Рисунок 4. Сеть с распространением VLAN по всему кампусу с функциями многоуровневой коммутации

Корпоративные серверы в серверной ферме (server farm) могут быть подключены по технологии Fast Ethernet с пропускной способностью в 100 Мбит/с или по технологии Fast EtherChannel для увеличения полосы пропускания до 200 или 400 Мбит/с.

Эффективность работы сети, построенной по такой модели, в большой степени зависит от выполнения правила 80/20. Если 80% общего трафика сосредоточено внутри рабочих групп, то 80% пакетов коммутируются на уровне 2 от клиента к серверу. Однако, если 90% трафика следует к серверной ферме, то 90% пакетов коммутируются одноруким маршрутизатором. Масштабируемость и производительность сети, построенной по модели VLAN, ограничиваются характеристиками протокола STP, Каждая VLAN эквивалентна плоской сети с применением мостов.

Модель сети с распространением VLAN по всему кампусу обеспечивает гибкость при перемещении статически сконфигурированных конечных станций между этажами и корпусами кампусного здания. Это возможно благодаря таким решениям Cisco Systems, как VLAN Membership Policy Server (VMPS) и протоколу VTP (VLAN Trunking Protocol). Мобильные пользователи могут подключать свои мобильные компьютеры к любой конечной розетке сети в любом корпусе или на любом этаже кампусного здания. Локальный коммутатор Catalyst при подключении пользователя посылает запрос серверу VMPS для определения прав доступа этого пользователя и его принадлежности той или иной VLAN. После получения ответа сервера коммутатор Catalyst закрепляет данный порт за нужной VLAN.

Кампусная сеть с применением MPOA

Рисунок 5. Кампусная сеть с применением MPOA

Применение технологии MPOA добавляет в инфраструктуру ATM два дополнительных компонента:

MPS (Multiprotocol Server) ? дополнительные функции, встроенные в программное обеспечение маршрутизатора X;

MPC (Multiprotocol Client) ? набор аппаратного и программного обеспечения на коммутаторах доступа к MPS.

При взаимодействии клиента VLAN pink с сервером в составе серверной фермы первый пакет проходит путь от MPC к MPS с использованием технологии LANE. Сервер MPS перенаправляет пакет клиенту-приемнику MPC, также используя LANE. Затем MPS выдает указание двум клиентам MPC установить прямое коммутируемое виртуальное соединение (Direct Switched Virtual Circuit, Direct SVC) между подсетью pink и подсетью, к которой подключена серверная ферма.

При использовании MPOA одноцелевые пакеты IP (IP unicast) занимают прямое соединение SVC. Многоцелевые пакеты (multicast), тем не менее, передаются северу BUS для распространения по порождающей их ELAN. Затем маршрутизатор X копирует многоцелевые пакеты на серверы BUS для каждой из ELAN, которые должны эти пакеты получить. Это определяется конфигурацией маршрутизации многоцелевого трафика на маршрутизаторе X. Далее каждый сервер BUS распространяет эти пакеты по своей ELAN.

Пакеты протоколов отличных от IP также проходят связку ?LANE-маршрутизатор-LANE?, однако в этом случае не происходит установления прямого SVC. Применение дизайна MPOA должно основываться на количестве общего трафика в отношении к производительности маршрутизатора. Технология MPOA в основном применяется в сетях, где доминируют одноцелевые пакеты IP (IP unicast) и имеются магистральные соединения ATM к коммутаторам уровня доступа.

Кампусная многоуровневая сеть

Рисунок 6. Кампусная многоуровневая сеть

Здание кампуса состоит из трех корпусов ? A, B и C, - соединенных между собой магистралью, называемой ядром (Core). Уровень распределения состоит из многоуровневых коммутаторов семейства Catalyst 5000. Многоуровневый дизайн сети использует преимущества коммутации уровня 2 на уровнях доступа и ядра, а на уровне распределения применяется многоуровневая коммутация. Многоуровневая модель сети позволяет сохранить существующую структуру адресации и логических сетей аналогично традиционной сети с маршрутизаторами и концентраторами. Подсети уровня доступа не выходят дальше уровня распределения. С другой стороны, подсети уровня ядра также заканчиваются на уровне распределения. Несмотря на то, что многоуровневая модель не распространяет VLAN по всему кампусу, она позволяет достичь всех преимуществ магистральных соединений VLAN. Далее мы рассмотрим, как это происходит.

В связи с тем, что коммутация уровня 3 используется на уровне распределения многоуровневой модели, здесь применимо большинство преимуществ маршрутизации. Уровень распределения формирует широковещательную границу, через которую широковещательный трафик не проходит из корпуса здания в магистраль или наоборот. Дополнительные функции Cisco IOS применимы на уровне распределения. Например, коммутаторы уровня распределения могут собирать информацию о существующих в общей сети серверах Novell Netware и отвечать на запросы GNS (Get Nearest Server), применяемые в сетях Netware. Другим примером может служить функция распространения сообщений протокола DHCP (Dynamic Host Configuration Protocol) от мобильных станций IP к серверам DHCP.

Другим набором функций Cisco IOS, включенным в состав программного обеспечения многоуровневых коммутаторов уровня распределения является LAM (Local Area Mobility). Технология LAM применяется в тех кампусных сетях, где не внедрены протокол и службы DHCP для того, чтобы позволить статически сконфигурированным конечным станциям перемещаться внутри кампуса. Суть работы LAM заключается в том, что адреса мобильных узлов включаются непосредственно в таблицы маршрутизации отдельными маршрутами.

Программное обеспечение Cisco IOS содержит множество вспомогательных функций по обеспечению стабильности, масштабируемости и управляемости корпоративных сетей. Эти функции применимы ко всем сетевым протоколам, встречающимся в кампусных сетях, включая DECnet, AppleTalk, IBM SNA, Novell IPX, TCP/IP и многие другие. Все эти функции можно охарактеризовать одним словом ? внешние функции (out of the box). Внешние функции применяются для работы всей сети. Они являются противоположностью внутренних характеристик (inside the box), которые включают в себя производительность и плотность портов устройства. Внутренние характеристики применимы к отдельно взятым устройствам. Внутренние характеристики оказывают небольшое влияние на стабильность, масштабируемость и управляемость корпоративных сетей.

Устойчивость многоуровневой модели сети обуславливается ее иерархичностью и модульностью. Иерархичность модели заключается в том, что отдельные ее компоненты можно рассматривать и специализировать независимо от других. Модульность же определяется тем, что каждая часть модели внутри определенного уровня выполняет сходные логические функции. Отдельные преимущества, присущие различным технологиям, могут быть добавлены в состав сети, не оказывая влияния на логическую структуру модели. Например, топология Token Ring на отдельных участках сети может быть заменена топологией Ethernet. FDDI можно заменить на коммутируемый Fast Ethernet. Вместо концентраторов можно установить коммутаторы уровня 2. Вместо Fast Ethernet можно использовать ATM LANE в качестве магистральных и прочих соединений. ATM LANE можно представить в виде Gigabit Ethernet и т.д. Таким образом, можно утверждать, что модульность обеспечивает миграцию и интеграцию существующих технологий передачи настолько легко, насколько это возможно.

Другим ключевым преимуществом модульного дизайна сети является то, что каждое устройство внутри определенного уровня программируется аналогично другим устройствам того же уровня и выполняет сходные задачи, что, в свою очередь, значительно упрощает процесс конфигурации. Функции поиска и устранения неисправностей также в значительной мере облегчаются при использовании модульного дизайна сети.

На уровне доступа подсети соответствуют разным VLAN. VLAN могут ограничиваться одним коммутатором, а могут и быть представленными на нескольких устройствах. Если на уровне доступа используются коммутаторы семейства Catalyst 5000, то технология VLAN Trunking обеспечит все необходимые функции для гибкого распределения VLAN между несколькими коммутаторами. В примерах конфигураций, которые будут показаны далее, мы продемонстрируем коммутатор, относящийся к двум VLAN, и как этот факт обеспечивает разделение нагрузки и быстрое восстановление работоспособности после сбоев на этапе взаимодействия уровней распределения и доступа.

В самом простом случае уровень ядра сети можно рассматривать как одну логическую сеть или VLAN. В наших примерах мы рассмотрим уровень ядра как единую коммутируемую инфраструктуру уровня 2, не имеющую петель. Это обеспечит такое полезное свойство, как отсутствие необходимости использования протокола STP на уровне ядра сети. Вместо этого мы рассмотрим вопросы, касающиеся разделения нагрузки и быстрой сходимости маршрутных протоколов уровня 3, таких как OSPF и EIGRP, обеспечивающих быстрое определение оптимальных маршрутов и восстановление после сбоев в основной магистрали сети (backbone). Функции поиска оптимальных маршрутов и восстановления после сбоев в многоуровневой модели выполняются на уровне распределения.

Избыточность в многоуровневой кампусной сети

Рисунок 7. Избыточность в многоуровневой кампусной сети

Многоуровневые коммутаторы A и B обеспечивают резервирование соединений с доменом ?North?. Дополнительные линии связи соединяют каждый коммутатор уровня доступа с коммутаторами A и B. Резервирование на уровне ядра сети обеспечивается установкой двух или более коммутаторов Catalyst. Резервные линии связи от уровня распределения обеспечивают отказоустойчивость и разделение нагрузки по параллельным маршрутам.

Резервные линии связи соединяют коммутаторы уровня доступа с парой коммутаторов уровня распределения. Быстрое восстановление после сбоя на уровне 3 обеспечивается протоколом HSRP (Hot Standby Router Protocol), разработанным фирмой Cisco Systems. Два коммутатора уровня распределения совместно реализуют функции основных маршрутизаторов HSRP для всех узлов IP в корпусе здания. Быстрое восстановление после сбоя на уровне 2 обеспечивается функцией UplinkFast, также являющейся разработкой Cisco Systems. Функция UplinkFast работает на основе быстросходящегося алгоритма, который обеспечивает переключение потока данных со сбойной линии связи на резервную в течение 3 секунд.

Разделение нагрузки внутри ядра системы обеспечивается ?интеллектуальными? маршрутизирующими протоколами уровня 3, встроенными в ПО Cisco IOS. На Рисунок 7 показаны четыре возможных маршрута для связи между двумя любыми корпусами здания. Например, для связи между доменами North и West могут использоваться маршруты AXC, AXYD, BYD и BYXC. Эти четыре маршрута уровня 2 эквивалентны маршрутам уровня 3 благодаря маршрутизирующим протоколам. Следует отметить, что все пути от доменов North, West и South до основной магистрали сети проходят через один логический транзитный узел (single logical hop). ПО Cisco IOS обеспечивает разделение нагрузки по шести административно эквивалентным маршрутам для протокола IP и для большего количества маршрутов для других протоколов.

показывает многоуровневый

Рисунок 7 показывает многоуровневый дизайн, позволяющий найти выход из такой ситуации.

иллюстрирует отказоустойчивую

Рисунок 8 иллюстрирует отказоустойчивую многоуровневую сеть, в которой присутствуют фермы корпоративных серверов (Enterprise Server Farm).

Многоуровневая сеть

Рисунок 8. Многоуровневая сеть с фермами корпоративных серверов

Ферма корпоративных серверов выделена в модульный строительный блок, использующий многоуровневую коммутацию. Магистральное соединение A (Gigabit Ethernet) обеспечивает передачу трафика между серверами. Магистральное соединение B (Fast EtherChannel) обеспечивает передачу трафика в ядре системы. Весь межсерверный трафик не выпускается в основную магистраль сети, что имеет свои преимущества в плане производительности и защищенности данных. Корпоративные серверы используют быстрые функции резервирования по протоколу HSRP между коммутаторами X и Y. Права доступа к серверной ферме могут контролироваться списками доступа (access list) на коммутаторах X и Y.

На Рисунок 8 для большей понятности коммутаторы уровня 2 V и W в ядре сети показаны отдельно от коммутаторов X и Y. Для сети такого размера коммутаторы V и W могут быть объединены с коммутаторами X и Y.

Помещение серверов в отдельную ферму также предотвращает проблемы, связанные с перенаправлением пакетов IP при выборе оптимального основного маршрутизатора, которые возникают при подключении серверов непосредственно к основной магистрали сети (Рисунок 7). В частности, протокол HSRP не применяется для корпоративных серверов в сетях, аналогичных сети на Рисунок 7; они используют протоколы ARP (Address Resolution Protocol), IRDP (Internet Router Discovery Protocol), GDP (Gateway Discovery Protocol) или RIP (Routing Information Protocol) для распространения маршрутных таблиц.

иллюстрирует работу

Рисунок 9 иллюстрирует работу протокола HSRP между двумя коммутаторами уровня распределения. Конечные узлы сети подключены к портам коммутаторов уровня доступа.

Резервирование по протоколу HSRP

Рисунок 9. Резервирование по протоколу HSRP

Четные подсети соответствуют четным VLAN, нечетные подсети ? нечетным VLAN. Основным HSRP коммутатором для четных подсетей является коммутатор X, и основным HSRP коммутатором для нечетных подсетей является коммутатор Y.

Соответственно, коммутатор X является резервным для нечетных подсетей, а коммутатор Y является резервным для четных подсетей. Договоримся, что маршрутизатор по умолчанию (параметр Default Gateway) для всех конечных узлов всегда имеет адрес узла 100, т.е. для подсети 15.0 адрес основного маршрутизатора будет 15.100. Если маршрутизатор 15.100 будет по какой-либо причине отключен, то коммутатор X примет адрес 15.100, а также MAC адрес HSRP в течение 2 секунд, как показано в примере конфигурации, представленной в приложении A.

иллюстрирует разделение

Рисунок 10 иллюстрирует разделение нагрузки между уровнями доступа и распределения при использовании протокола ISL VTP.

Разделение нагрузки

Рисунок 10. Разделение нагрузки с использованием VTP Trunking

Мы имеем VLAN 10 и 11, расположенные на коммутатору A, и VLAN 12 и 13, расположенные на коммутаторе B. Каждый коммутатор уровня доступа имеет два магистральных соединения с уровнем распределения. Протокол STP блокирует резервные соединения. Эти соединения показаны на рисунке буквами B. Основные соединения будут передавать трафик. На рисунке они обозначены буквами F. Разделение нагрузки будет происходить за счет того, что одни соединения будут передавать трафик четных VLAN, а другие ? нечетных.

На коммутаторе A левое соединение отмечено как F10, что означает, что по этому соединению передается трафик VLAN 10. Правое же соединение отмечено как F11, что, в свою очередь, означает, что по этому соединению передается трафик VLAN 11. Левое соединение также имеет пометку B11, что означает, что этот путь следования трафика VLAN 11 заблокирован. Такая же история с правым соединением. Такая конфигурация делает коммутатор X корневым мостом (STP root bridge) для четных VLAN, а коммутатор Y является корневым мостом для нечетных VLAN. Для рассмотрения команд конфигурации см. Приложение A.

иллюстрирует сеть

Рисунок 11 иллюстрирует сеть, показанную на Рисунок 10, после сбоя соединения, обозначенного ?крестом?.

Технология VLAN Trunking

Рисунок 11. Технология VLAN Trunking с восстановлением UplinkFast

UplinkFast переключает состояние левого соединения: оно становится активным для передачи трафика VLAN 11. Трафик коммутируется при необходимости через соединение Z (Fast EtherChannel). Соединение Z является резервным путем следования пакетов уровня 2 для всех VLAN домена, а также по нему проходит некоторое количество трафика, возникающего при балансировании нагрузки между коммутаторами X и Y. При использовании обычного протокола STP время его сходимости составляет 40-50 секунд. При использовании UplinkFast переключение потока данных на резервное соединение происходит примерно за 3 секунды. Конфигурация устройств показана в приложении A.

показывает три различных

Рисунок 12 показывает три различных способа масштабирования пропускной способности между уровнями доступа и распределения.

Способы масштабирования пропускной способности

Рисунок 12. Способы масштабирования пропускной способности

В конфигурации, помеченной как ?A - Best? все VLAN комбинируются в одном канале Fast EtherChannel, в котором функционирует протокол ISL. В конфигурации ?B-Good? используется комбинация сегментированных магистральных соединений ISL. В конфигурации ?C-OK? используется простая сегментация.

Везде, где это возможно, лучше использовать вариант A и потому, что технология Fast EtherChannel предоставляет наиболее эффективное использование полосы пропускания за счет мультиплексирования всех VLAN в одно логическое соединение. Если интерфейсные модули Fast EtherChannel отсутствуют в составе активного сетевого оборудования, то рекомендуется использовать вариант B. Если ни Fast EtherChannel, ни протокол ISL не поддерживаются аппаратным и программным обеспечением сети, то придется остановиться на варианте C. При использовании простой сегментации каждая VLAN использует отдельное соединение. Для достижения производительности, обеспечиваемой вариантами A и B, может возникнуть использования большего количества интерфейсных портов.

Увеличение пропускной способности магистралей ATM на уровне ядра возможно путем добавления дополнительных линий связи OC-3 или OC-12. ?Интеллектуальную? маршрутизацию в этом случае будет обеспечивать протокол PNNI (Private Network-to-Network Interface), реализующий функции разделения нагрузки и восстановления после сбоев.

Логическое или физическое разделение ядра

Рисунок 13. Логическое или физическое разделение ядра

VLAN 100 на коммутаторе V соответствует подсети IP с адресом 131.108.1.0, к которой подключена серверная ферма, обслуживающая службы WWW. VLAN 200 на коммутаторе W соответствует подсети IPX с адресом BEEF0001, к которой подключена серверная ферма, состоящая из серверов Novell Netware.

Естественно, что чем проще топология ядра системы, тем лучше это сказывается на всей сети в целом. В таком варианте необходимо минимальное количество VLAN и ELAN. Обсуждение вопросов масштабирования, связанных с установкой большого числа коммутаторов уровня 3, подключенных ко многим логическим подсетям, мы рассмотрим позднее в разделе ?Обсуждение вопросов масштабирования? настоящего документа.

Подключение серверов в многоуровневой модели

Рисунок 14. Подключение серверов в многоуровневой модели

Сервер X подключен к подсети уровня ядра с использованием технологии Fast EtherChannel. Как уже упоминалось, серверы, подключенные непосредственно к ядру системы, используют протоколы ARP, IRDP, GDP и RIP для распространения своих маршрутных таблиц. Протокол HSRP не используется в подсетях уровня ядра, потому что соединения всех путей следования трафика реализуются коммутаторами уровня распределения.

Корпоративные серверы Y и Z подключены в составе серверной фермы, представляющей собой строительный блок сети с многоуровневой коммутацией внутри. Сервер Y подключен по технологии Fast Ethernet, а сервер Z ? по Fast EtherChannel. Контроль над разграничением прав доступа к этим серверами выполняется при помощи списков доступа на коммутаторах уровня ядра. Другим большим преимуществом распределения серверов является возможность реализации между ними протокола HSRP, обеспечивающего резервирование и восстановление после сбоев. Модель с распределением серверов также позволяет не выпускать межсерверный трафик в основные магистральные соединения ядра сети. Пример создания фермы серверов приведен в приложении A.

Сервер M подключен к рабочей группе D, представляющей собой одну VLAN. Этот сервер подключен к порту коммутатора уровня доступа по технологии Fast Ethernet. Это связано с тем, что большая часть трафика, связанная с этим сервером, является локальной для данной рабочей группы. Это следует из правила 80/20. При необходимости доступ к серверу M из общей сети может быть закрыт путем создания соответствующего списка доступа на коммутаторе H.

Сервер N подключается к коммутатору уровня распределения H. Этот сервер имеет соединения с клиентами VLAN A, B, C и D. Прямой коммутируемый путь уровня 2 между сервером N и клиентами VLAN A, B, C и D может быть установлен двумя способами:

Установка в сервер четырех сетевых адаптеров (NIC, Network Interface Card), непосредственно связанных с каждой VLAN;

Установка в сервер одного NIC, поддерживающего протокол ISL. При таком подключении сервер получит соединения со всеми четырьмя VLAN через магистральное соединение VLAN (VLAN Trunk).

Доступ к серверу N из общей сети по мере необходимости может быть запрещен или ограничен путем создания соответствующего списка доступа на коммутаторе H.

Многоуровневая сеть с ядром ATM LANE

Рисунок 15. Многоуровневая сеть с ядром ATM LANE

Сети ATM являются хорошей альтернативой для тех заказчиков, которым необходимо обеспечить в своих сетях гарантированное качество сервиса (QoS, Quality-of-Service). Голосовые и видео приложения могут использовать такие функции сетей ATM, как очередность по заполнению (Per-Flow Queuing), которые предоставляют возможность передачи данных реального времени без задержек.

Каждый многоуровневый коммутатор Catalyst 5000 на уровне распределения комплектуется интерфейсным модулем LANE. Этот модуль выполняет функции LEC, благодаря которым коммутаторы уровня распределения получают возможность подключения к ядру сети. Модули LANE имеют резервные интерфейсы OC-3, которые называются Dual-PHY. На Рисунок 15 сплошными линиями показаны основные линии связи, а пунктирными ? линии, находящиеся в режиме ?горячего? резервирования (hot-standby link).

В ядре ATM находятся два коммутатора LightStream 1010. Маршрутизаторы и серверы с ?настоящими? (native) ATM-интерфейсами подключены непосредственно к портам ATM уровня ядра. Корпоративная ферма серверов подключена к многоуровневым коммутаторам Catalyst X и Y. Эти серверы могут иметь подключения либо по Fast Ethernet, либо по Fast EtherChannel. Эти коммутаторы Catalyst 5000 также комплектуются интерфейсными модулями LANE для обеспечения взаимодействия с серверами, подключенными по Ethernet, через ядро ATM ELAN.

В зависимости от требований заказчика магистральные соединения между коммутаторами LightStream 1010 выполняются либо линиями OC-3, либо линиями OC-12. Протокол PNNI на этих соединениях обеспечивает выполнение функций разделения нагрузки и ?интеллектуальной? маршрутизации между коммутаторами ATM. Функции ?интеллектуальной? маршрутизации необходимы для обеспечения масштабируемости при увеличении числа коммутаторов ATM. На уровне ядра не используется протокол STP. На уровне 3 функции ?интеллектуальной? маршрутизации выполняются протоколами типа OSPF или EIGRP, которые занимаются вопросами обнаружения оптимальных маршрутов следования трафика и разделения нагрузки между коммутаторами уровня распределения.

Cisco Systems разработала протокол SSRP (Simple Server Redundancy Protocol) для обеспечения резервирования таких важных компонентов LANE, как LECS и LES/BUS. Протокол SSRP доступен в маршрутизаторах семейства Cisco 7500, коммутаторах семейства Catalyst 5000 и на коммутаторах LightStream 1010 и совместим LEC, поддерживающими спецификацию LANE 1.0.

Интерфейсные модули LANE для коммутаторов Catalyst 5000 являются достаточно эффективными серверами BUS с широковещательной производительностью в 120 тысяч пакетов в секунду. Это достаточный уровень производительности для больших кампусных сетей. В сети, показанной на Рисунок 15, мы расположили основной сервер LES/BUS на коммутаторе X, а резервный ? на коммутаторе Y. В небольших сетях протокол SSRP обеспечивает переключение с основного LES/BUS на резервный в течение нескольких секунд. В крупных сетях эта процедура может занять значительное время ? до нескольких минут. В крупных сетях зачастую на уровне основных магистралей используются двойные ELAN, что обеспечивает быструю сходимость маршрутизирующих протоколов при выходе из строя одного из серверов LES/BUS.

В нашем примере на уровне магистралей ядра сети созданы две ELAN ? Red и Blue. Если сервер LES/BUS, обслуживающий ELAN Red по какой-либо причине будет недоступен, то трафик достаточно быстро переключится на ELAN Blue и будет проходить по ней до тех пор, пока работоспособность ELAN Red не будет восстановлена. После восстановления ELAN Red многоуровневые коммутаторы на уровне распределения восстановят соединения между собой через ELAN Red и заново запустят режим разделения нагрузки между ELAN Red и ELAN Blue. Этот процесс выполняется маршрутизирующими протоколами.

Благодаря тому, что коммутаторы LightStream 1010 занимают центральное положение в сети, то база данных LECS должна быть сконфигурирована именно на них. При стабильной работе ELAN на центральный процессор LECS не оказывается существенной нагрузки. Обращение к серверу LECS происходит только при подключении к ELAN нового клиента LEC. В связи с этим мы рассмотрим некоторые вопросы производительности относительно расположения основного и резервного сервера LECS. Хорошим выбором для основного сервера LECS является маршрутизатор серии Cisco 7500 с непосредственным подключением к ядру ATM, который не будет испытывать перегрузок при возникновении трафика, генерируемого при сбое серверов LES/BUS.

На Рисунок 16 показано альтернативное решение ядра LANE с применением коммутаторов Catalyst 5500.

Сеть с ядром ATM LANE

Рисунок 16. Сеть с ядром ATM LANE на основе коммутаторов Catalyst 5500

В этом примере коммутаторы Catalyst 5500 работают в качестве коммутаторов ATM. Это возможно благодаря управляющему модулю ASP (ATM Switch Processor). Они сконфигурированы как LEC с добавлением интерфейсных модулей OC-12 LANE/MPOA. Также они представляют собой коммутаторы кадров Ethernet с необходимым количеством интерфейсных модулей Ethernet и Fast Ethernet. Ферма серверов обладает дополнительной многоуровневой коммутацией. Коммутаторы Catalyst 5500 объединяют функциональные возможности коммутаторов LightStream 1010 и Catalyst 5000 в одном шасси. В приложении A показан пример конфигурации ядра ATM с применением коммутаторов Catalyst 5500.

Разграничение прав

Рисунок 17. Разграничение прав доступа при работе с IP Multicast

Коммутатор X работает в качестве своеобразного брэндмауера (firewall) IP Multicast, который управляет скоростями передачи и контролирует доступ к многоцелевым потокам данных. Для обеспечения изоляции трафика IP Multicast рекомендуется создать отдельную VLAN или подсеть на уровне ядра сети, в которую будут входить клиенты групп рассылки. Эта VLAN может быть либо логической частью ядра сети, либо может обслуживаться своим коммутатором в том случае, если уровень трафика такого типа слишком высок. Коммутатор X является логическим местом расположения точки сбора протокола PIM. Понятие ?точка сбора? означает корень дерева IP Multicast.

Ядро ATM большой кампусной сети

Рисунок 18. Ядро ATM большой кампусной сети

Ядро ATM, обозначенное областью B, состоит из восьми коммутаторов LightStream 1010, имеющих частичные (partial mesh) соединения между собой, выполненные линиями OC-12. Домен C содержит три пары коммутаторов LightStream 1010. Домен C может иметь такую систему адресов ATM, что сможет собирать сведения обо всех адресах ядра B. В данном случае ручная конфигурация таблицы адресов ATM будет малоэффективна. По умолчанию в ней будет всего лишь 26 маршрутов, соответствующих 26 коммутаторам, показанным на Рисунок 18. В домене A пары коммутаторов уровня распределения подключены к ATM линиями OC-3 LANE. Ферма серверов, находящаяся за коммутаторами Catalyst X и Y подключена непосредственно к ядру через интерфейсные модули OC-12 LANE/MPOA.

Миграция от сетей Token Ring и FDDI

Рисунок 19. Миграция от сетей Token Ring и FDDI

Магистраль FDDI может транслироваться в Fast Ethernet на уровне распределения. Альтернативным путем решения проблемы может являться конфигурирование магистрали FDDI как отдельной логической сети. Мы приведем несколько доводов в пользу того, чтобы имеющиеся магистрали FDDI включать в состав модернизируемых сетей. Топология FDDI поддерживает работу с кадрами, имеющими размер 4500 байт, в то время как топология Ethernet работает с кадрами размером в 1500 байт. Это может оказаться важным для немаршрутизируемых протоколов, работающих в локальных подсетях Token Ring, в которых конечные узлы также могут генерировать кадры размером в 4500 байт. Другим доводом в пользу имеющихся магистралей FDDI является наличие у заказчиков сетевых адаптеров FDDI.

Технология DLSw+ (Data-link Switching plus) является реализацией компанией Cisco стандартной технологии DLSw. Кадры SNA, генерируемые ?настоящим? (native) клиентом SNA, обозначенным на Рисунок 19 буквой B, инкапсулируются маршрутизатором или коммутатором уровня распределения в пакеты протокола TCP/IP. Распределяющий коммутатор деинкапсулирует трафик SNA и передает его устройству FEP (Front-End Processor), подключенный по топологии Token Ring к центру обработки данных. Многоуровневые коммутаторы могут подключаться к сетям Token Ring благодаря управляющему модулю VIP (Versatile Interface Processor) и портовому адаптеру Token Ring.

Уровень распределения

Рисунок 20. Уровень распределения WAN, подключенный к Интернет

иллюстрирует небольшую кампусную интрасеть.

Рисунок 21 иллюстрирует небольшую кампусную интрасеть.

Многоуровневая модель

Рисунок 21. Многоуровневая модель в сетях, основанных на Ethernet

На рисунке показаны два здания, каждое из которых представляет собой домен VTP ? North и South. Ядро сети представляет собой другой домен VTP ? Backbone. Внутри каждого домена хотя бы один коммутатор должен выполнять функции сервера VTP. Основной задачей сервера VTP является отслеживание состояния всех VLAN, имеющих место в данном домене. Коммутатор d1a является сервером VTP для домена North. Коммутатор d2a является сервером VTP для домена South. Оба коммутатора ca и cb являются серверами VTP для домена Backbone, потому что трафик VLAN 1 не должен проходить на уровень ядра сети. Фактически в сети нет ни одного магистрального соединения ISL. Расположение сервера VTP на коммутаторе уровня доступа a1a не является хорошей идеей, потому что не все VLAN в домене North имеют доступ к этому коммутатору. Коммутаторы, которые не являются серверами VTP, сконфигурированы так, чтобы прозрачно пропускать через себя трафик VTP. Использование такого режима конфигурации коммутатора a1a позволяет распространить информацию обо всех VLAN, присутствующих на этом коммутаторе.

На Рисунок 22 VLAN 10 показана более подробно. Магистрали VLAN trunk, составляющие треугольник, несут на себе трафик VLAN 10. Коммутатор d1a, расположенный в нижнем левом углу, является корневым для VLAN 10. На коммутаторе a1a соединение 2/1 находится в активном состоянии и передает трафик VLAN 10, а соединение 2/2 является заблокированным. Заблокированные соединения выделены пурпурным цветом (purple). На коммутаторе a1a включены функции UplinkFast. В добавление скажем, что три соединения, три порта подключены к VLAN 10. Рабочая станция PC A имеет IP адрес 131.108.10.1 и подключена к порту 2/11 коммутатора a1a. Два модуля RSM r1a и r1b сконфигурированы так, что они имеют логическое подключение к VLAN. Модуль RSM r1a подключен к порту 3/1 коммутатора d1a, а модуль RSM r1b подключен к порту 3/1 коммутатора d1b. Модуль RSM r1a имеет IP адрес 131.108.10.151 на интерфейсе VLAN 10 , однако, функционирует как основной маршрутизатор HSRP с IP адресом 131.108.10.100.

Логическая топология

Рисунок 22. Логическая топология VLAN 10 внутри многоуровневой модели

иллюстрирует VLAN 11 во всех подробностях.

Рисунок 23 иллюстрирует VLAN 11 во всех подробностях.

Логическая топология

Рисунок 23. Логическая топология VLAN 11 внутри многоуровневой модели

Напомним, что коммутатор d1b является корневым для нечетных VLAN. На коммутаторе a1a соединение 2/1 заблокировано, а соединение 2/2 активно. Модуль RSM r1b функционирует в качестве основного маршрутизатора HSRP и имеет IP адрес 131.108.11.100 для VLAN 11. При этом резервным маршрутизатором является r1a.

Отметим, что в данном примере мы используем упрощенные имена узлов. Так, в частности, буква ?а? в имени коммутатора означает, что он относится к уровню доступа (Access Layer), буква ?d? ? к уровню распределения (Distribution Layer), а буква ?c? ? к уровню ядра сети (Core Layer). Первый модуль RSM в коммутаторе d1a имеет имя r1a. IP адреса, имеющие младшие значения в поле адреса узла, например, 131.108.10.1, относятся к конечным узлам, адреса 131.108.10.20x относятся к серверам, а адреса 131.108.10.10x относятся к маршрутизаторам HSRP. Для обеспечения других функций, кроме работы протокола HSRP, модули RSM имеют следующие адреса:

Модуль RSM

IP Адрес

r1a

x.x.x.151

r1b

x.x.x.152

r2a

x.x.x.153

r2b

x.x.x.154

rca

x.x.x.155

rcb

x.x.x.156

rwan

x.x.x.157 (Маршрутизатор Cisco 7500, подключенный к ядру)

В домене North находятся четыре подсети, имеющие IP адреса 131.108.10.0, 131.108.11.0, 131.108.12.0 и 131.108.13.0. Эти подсети относятся к VLAN 10, 11, 12 и 13 соответственно. В добавлении отметим, что подсеть для управления имеет адрес 131.108.1.0 и относится к VLAN 1 внутри домена. VLAN 1 не выходит за пределы уровня распределения. Внутри домена South также имеется VLAN 1, однако, это ? другая подсеть. Порт управления SC0 на каждом коммутаторе принадлежит VLAN 1, адрес которой 131.108.1.0. Адреса управляющих интерфейсов распределены следующим образом:

Устройство

IP Адрес

IP адрес маршрутизатора по умолчанию

(default gateway)

a1a

131.108.1.1

131.108.1.100

a1b

131.108.1.2

131.108.1.101

d1a

131.108.1.3

131.108.1.100

d1b

131.108.1.4

131.108.1.101

r1a

131.108.1.151

(Основной HSRP для

131.108.1.100)

r1b

131.108.1.152

(Резервный HSRP для

131.108.1.100)

В домене South находятся четыре подсети, имеющие IP адреса 131.108.20.0, 131.108.21.0, 131.108.22.0 и 131.108.23.0. Эти подсети относятся к VLAN 20, 21, 22 и 23 соответственно. В добавлении отметим, что подсеть для управления имеет адрес 131.108.2.0 и относится к VLAN 1 внутри домена. VLAN 1 не выходит за пределы уровня распределения. Внутри домена South также имеется VLAN 1, однако, это ? другая подсеть. Порт управления SC0 на каждом коммутаторе принадлежит VLAN 1, адрес которой 131.108.2.0. Адреса управляющих интерфейсов распределены следующим образом:

Устройство

IP Адрес

IP адрес маршрутизатора по умолчанию

(default gateway)

a2a

131.108.2.1

131.108.2.100

a2b

131.108.2.2

131.108.2.101

d2a

131.108.2.3

131.108.2.100

d2b

131.108.2.4

131.108.2.101

r2a

131.108.2.151

(Основной HSRP для

131.108.2.100)

r2b

131.108.2.152

(Резервный HSRP для

131.108.2.100)

Домен Backbone содержит подсеть 131.108.99.0, которая представляет собой VLAN 99. Протокол HSRP не сконфигурирован на подсети 99.0, т.к. состояние ?standby" на интерфейсе VLAN отменяет рассылку пакетов протокола ICMP (Internet Control Message Protocol). Основной маршрутизатор для ca и cb сконфигурирован на их собственные адреса с маской подсети класса B, т.к. ca и cb для обращения к другим подсетям будут использовать запросы proxy ARP.

Устройство

IP Адрес

IP адрес маршрутизатора по умолчанию

(default gateway)

131.108.99.1

Proxy ARP,

gateway 131.108.99.1

Mask 255.255.0.0

131.108.99.2

Proxy ARP,

131.108.99.2

Mask 255.255.0.0

r1a

131.108.99.151

r1b

131.108.99.152

r2a

131.108.99.153

r2b

131.108.99.154

Конфигурация коммутатора a1a показана ниже. В слоте 2 установлен интерфейсный модуль 10/100, порты 2/1 и 2/2 используются для соединения с коммутаторами d1a и d1b соответственно. Последняя команда set spantree uplinkfast enable включает функцию восстановления после сбоя протокола STP.

set prompt a1a

set vtp mode transparent

set vtp domain North

set interface sc0 1 131.108.1.1 255.255.255.0

set ip route default 131.108.1.100 0

set trunk 2/1 on

set trunk 2/2 on

set vlan 10

set vlan 10 2/11 (assigns one host port in VLAN 10)

set vlan 11

set vlan 11 2/12 (assigns one host port in VLAN 11)

set spantree uplinkfast enable

Конфигурация коммутатора d1a следующая: в слоте 2 установлен модуль интерфейсный 10/100, порты 2/1, 2/2 и 2/3 используются для соединений с коммутаторами a1a, a1b и d1b соответственно. Этот коммутатор выполняет роль Root Bridge для VLAN 10 и 12. Мы удалим VLAN 12, 13 и 99 из магистрального соединения 2/1 с коммутатором a1a. Также мы удалим VLAN 10, 11 и 99 из магистрального соединения 2/2 с коммутатором a1b. Мы удалим VLAN 99 из соединения 2/3 с коммутатором d1b для предотвращения образования петель STP на уровне ядра сети. VLAN 1 не может быть удалена из соединений внутри домена VTP. Коммутатор d1a выполняет функции сервера VTP для домена North.

set prompt d1a

set vtp domain North

set vtp mode server

set interface sc0 1 131.108.1.3 255.255.255.0

set ip route default 131.108.1.100 0

set trunk 2/1 on

set trunk 2/2 on

set trunk 2/3 on

set vlan 10, 11, 12, 13, 99

set spantree root 10, 12

clear trunk 2/1 12,13,99

clear trunk 2/2 10,11,99

clear trunk 2/3 99

Ниже представлена конфигурация модуля RSM rla. Этот коммутатор функционирует как основной HSRP маршрутизатор для адреса 131.108.1.100. Этот коммутатор также является основным маршрутизатором по умолчанию для четных подсетей с адресами 131.108.10.0 и 131.108.12.0. В отношении нечетных подсетей 131.108.11.0 и 131.108.13.0 этот коммутатор является резервным маршрутизатором по умолчанию.

hostname r1a

interface vlan 1

ip address 131.108.1.151 255.255.255.0

standby 1 ip 131.108.1.100

standby 1 priority 100

standby 1 preempt

interface vlan 10

ip address 131.108.10.151 255.255.255.0

standby 1 ip 131.108.10.100

standby 1 priority 100

standby 1 preempt

interface vlan 11

ip address 131.108.11.151 255.255.255.0

standby 1 ip 131.108.11.100

standby 1 priority 50

interface vlan 12

ip address 131.108.12.151 255.255.255.0

standby 1 ip 131.108.12.100

standby 1 priority 100

standby 1 preempt

interface vlan 13

ip address 131.108.13.151 255.255.255.0

standby 1 ip 131.108.13.100

standby 1 priority 50

interface vlan 99

ip address 131.108.99.151 255.255.255.0

router ospf 777

network 131.108.0.0 0.0.255.255 area 0

Создание фермы серверов

Рисунок 24. Создание фермы серверов

Мы добавили модули RSM rca и rcb в состав коммутаторов уровня ядра ca и cb. Модуль RSM rca выполняет функции основного HSRP маршрутизатора для адреса 131.108.100.100, а модуль RSM rcb является резервным для того же адреса. Модуль RSM rcb выполняет функции основного HSRP маршрутизатора для адреса 131.108.100.101, а модуль RSM rca является резервным для того же адреса. Корпоративный сервер 131.108.100.200 использует в качестве маршрутизатора по умолчанию адрес 131.108.100.100, а сервер 131.108.100.201 ? адрес 131.108.100.101. Это обеспечивает распределение нагрузки для исходящих пакетов от фермы серверов до основных магистралей уровня ядра.

На Рисунок 25 коммутаторы уровня ядра ca и cb показаны более подробно.

Ферма серверов

Рисунок 25. Ферма серверов

Магистральное соединение Fast EtherChannel, по которому передается трафик VLAN 100, соединяет коммутаторы ca и cb, обеспечивая функции коммутации уровня 2 между корпоративными серверами и основными и резервными маршрутизаторами HSRP. Это соединение также несет в себе межсерверный трафик.

Конфигурация коммутатора ca представлена ниже:

set prompt ca

set vtp domain Backbone

set vtp mode server

set interface sc0 99 131.108.99.1 255.255.255.0

set ip route default 131.108.99.100 0

set vlan 99 name 131.108.99.0

set vlan 100 name 131.108.100.0

set port channel 2/1-2 on (Fast EtherChannel VLAN 99)

set port channel 2/3-4 on (Fast EtherChannel VLAN 100)

set vlan 99 2/1-2

set vlan 100 2/12

set trunk 1/1 off

set trunk 1/2 off

set trunk 2/1 off (FEC is not an ISL trunk)

set trunk 2/3 off (FEC is not an ISL trunk)

Конфигурация модуля RSM rca:

hostname rca

interface vlan 99

ip address 131.108.99.155 255.255.255.0

interface vlan 100

ip address 131.108.100.155 255.255.255.0

standby 1 ip 131.108.100.100

Standby 1 priority 100

standby 1 preempt

standby 2 ip 131.108.100.101

standby 2 priority 50

router ospf 777

network 131.108.0.0 0.0.255.255. area 0

Сеть с ядром ATM LANE

Рисунок 26. Сеть с ядром ATM LANE

Коммутаторы Catalyst 5500 ca и cb обеспечивают коммутацию ATM на уровне ядра сети и коммутацию Ethernet на уровне распределения серверов в составе серверной фермы. На всех коммутаторах уровней ядра и распределения интерфейсные модули LANE обеспечивают соединение VLAN 98 с ядром ATM ELAN. Модуль LANE в коммутаторе ca выполняет функции основного сервера LES/BUS, а модуль LANE в коммутаторе cb является резервным сервером LES/BUS. На уровне ядра сконфигурирована всего одна ELAN, которая соответствует подсети с адресом 131.108.98.0. Это упрощает логическую структуру ядра и уменьшает число требуемых виртуальных соединений. В крупных кампусных сетях ATM обычно используют две ELAN для обеспечения резервирования. На Рисунок 27 к ядру подключены девять клиентов LEC. Каждый интерфейсный модуль LANE на коммутаторах d1a, d1b, d2a, d2b, ca и cb имеет одного клиента LEC, ассоциируемого с VLAN 98. Каждый коммутатор ATM имеет LEC, ассоциируемого с управляющим портом. Маршрутизатор rwan имеет ?настоящий? интерфейс ATM, который также является клиентом LEC.

Управляющая подсеть в ATM LANE

Рисунок 27. Управляющая подсеть в ATM LANE

Количество требуемых виртуальных соединений вычисляется по формуле:

6n < x < 6n + (n(n-1)/2),

где n ? количество LEC в ядре ATM. При отсутствии трафика каждый LEC имеет 6 виртуальных соединений. Для сети ATM с девятью LEC мы получаем:

54 < x < 90

При отсутствии трафика в ядре ELAN будут иметь место 54 виртуальных соединения. Если любой LEC откроет соединение с любым другим LEC, то число виртуальных соединений возрастет до 90. Это достаточно малое число, чтобы перегрузить сервер LES/BUS.

В случае если основной сервер LES/BUS по какой-то причине будет отключен, то протокол SSRP произведет восстановление соединений через резервный сервер в течение нескольких секунд. Для определения количества открытых виртуальных соединений можно воспользоваться командой show atm vc.

Rwan#show atm vc

AAL / Peak Avg. Burst

Interface VCD VPI VCI Type Encapsulation Kbps

Kbps Cells Status

ATM0/0 1 0 5 PVC AAL5-SAAL 155000 155000 96 ACTIVE

ATM0/0 2 0 16 PVC AAL5-ILMI 155000 155000 96 ACTIVE

ATM0/0.2 4 0 33 SVC LANE-LEC 155000 155000 32 ACTIVE

ATM0/0.2 5 0 34 MSVC LANE-LEC 155000 155000 32 ACTIVE

ATM0/0.2 6 0 35 SVC LANE-LEC 155000 155000 32 ACTIVE

ATM0/0.2 7 0 36 MSVC LANE-LEC 155000 155000 32 ACTIVE

ATM0/0.2 79 0 127 SVC LANE-DATA 155000 155000 32 ACTIVE

Показанный вывод результатов команды фиксирует 6 виртуальных соединений по умолчанию (default VC) и одно соединение данных, которое открылось из-за текущей Telnet сессии на маршрутизатор rwan. Постоянное виртуальное соединение (Permanent Virtual Circuit, PVC) 0 5 обеспечивает передачу сигнализации SVC (Switched Virtual Circuit), а PVC 0 16 ? передачу сигнализации ILMI (Interim Local Management Interface). Также имеются: одно отрытое соединение SVC и одно открытое соединение MSVC до сервера LES, и одно SVC и одно MSVC до сервера BUS.

Конфигурация устройств уровней доступа и распределения и модулей RSM в этом случае такая же, как и в случае с использованием Ethernet. До конфигурирования компонентов LANE необходимо рассмотреть некоторые соглашения с тем, чтобы соблюдался некоторый порядок в обсуждении и дальнейшем использовании таких сетей. Ниже приведены некоторые соглашения, используемые для модулей LANE и интерфейсов ATM:

Подинтерфейс

Ассоциация

n.0

Резервируется для LECS при необходимости

n.1

ELAN по умолчанию (Default) (Не используется в данном примере)

n.2

ELAN в ядре ATM = VLAN 98 = подсеть 131.108.98.0

n.3

Не используется

Также необходимо рассмотреть расположение IP адресов на управляющих интерфейсах VLAN 98. Здесь aspca ? это имя LEC на управляющем порту 13/0/0.2 на модуле ASP в коммутаторе ca. Порт 13/0/0 представляет собой внутренний управляющий интерфейс коммутатора ATM.

Устройство

IP Адрес

r1a

131.108.98.151

r1b

131.108.98.152

r2a

131.108.98.153

r2b

131.108.98.154

rca

131.108.98.155

rcb

131.108.98.156

rwan

131.108.98.157

aspca

131.108.98.171 (активный LEC)

aspcb

131.108.98.172 (резервный LEC)

са

131.108.98.1

131.108.98.2

laneca

-- (активный LES/BUS)

lanecb

-- (резервный LES/BUS)

На модуле Supervisor Engine коммутатора ca конфигурируется Ethernet VLAN 98. Мы не будем использовать технологию VTP Trunking, поэтому VLAN 1 не используется.

set prompt ca

set vtp domain backbone

set vtp mode server

set vlan 1 name default

set vlan 98 name atmbackbone

set vlan 98 8/1-12 (attach servers and Ethernet13/0/0 from aspca)

set interface sc0 98 131.108.98.1 255.255.255.0

set ip route default 131.108.98.1 255.255.0.0 (use proxy ARP)

Для нахождения ATM адресов NSAP (Network Service Access Point) воспользуемся командой show lane default, чтобы определить адрес основного LES на laneca и резервного LES на lanecb. Интерфейс ATM на модуле LANE необходимо физически подключить к порту коммутатора ATM. Это необходимо для того, чтобы протокол ILMI смог определить 20-байтный адрес NSAP. Активный физический интерфейс PHY-A отражается в 13-байтном префиксе, полученном от коммутатора ATM. Интерфейс PHY-A модуля laneca подключается к aspca, а интерфейс PHY-A модуля lanecb ? к aspcb.

laneca>show lane default

interface ATM0:

LANE Client: 47.0091810000000010F6737401.0010F6737020.**

LANE Server: 47.0091810000000010F6737401.0010F6737021.**

LANE Bus: 47.0091810000000010F6737401.0010F6737022.**

LANE Config Server: 47.0091810000000010F6737401.0010F6737023.00

note: ** is the subinterface number byte in hex

lanecb>show lane default

interface ATM0:

LANE Client: 47.0091810000000010F6756301.0010F6755F20.**

LANE Server: 47.0091810000000010F6756301.0010F6755F21.**

LANE Bus: 47.0091810000000010F6756301.0010F6755F22.**

LANE Config Server: 47.0091810000000010F6756301.0010F6755F23.00

note: ** is the subinterface number byte in hex

Для определения основного и резервного серверов LECS на модулях aspca и aspcb выполним команду show lane default.

aspca#show lane default

interface ATM13/0/0:

LANE Client: 47.0091810000000010F6737401.0010F6737402.**

LANE Server: 47.0091810000000010F6737401.0010F6737403.**

LANE Bus: 47.0091810000000010F6737401.0010F6737404.**

LANE Config Server: 47.0091810000000010F6737401.0010F6737405.00

note: ** is the subinterface number byte in hex

aspcb#show lane default

interface ATM13/0/0:

LANE Client: 47.0091810000000010F6756301.0010F6756302.**

LANE Server: 47.0091810000000010F6756301.0010F6756303.**

LANE Bus: 47.0091810000000010F6756301.0010F6756304.**

LANE Config Server: 47.0091810000000010F6756301.0010F6756305.00

note: ** is the subinterface number byte in hex

Конфигурируем aspca как основной LECS, а aspcb ? как резервный. Модуль LANE в коммутаторе уровня ядра ca становится основным сервером LES/BUS для ядра ELAN. В связи с тем, что оба модуля ? и laneca, и lanecb ? имеют интерфейсы Dual-PHY, то выбираем активным интерфейсом первый из них (PHY-A).

Конфигурация базы данных LECS происходит в следующей последовательности:

1	PHY-A для laneca	(активный физический интерфейс)
2	PHY-A для lanecb	(активный физический интерфейс)
3	PHY-B для lanecb	(резервный физический интерфейс)
4	PHY-B для laneca	(резервный физический интерфейс)

В показанной конфигурации мы соединяем порт Ethernet 13/0/0 с портом, находящимся в составе VLAN 98 в качестве второго порта внеполосного (out-of-band) управления для испытательных целей. Постольку поскольку мы имеем дело с коммутатором, то ему необходим основной маршрутизатор. Т.к. на уровне ядра не используется протокол HSRP, мы будем использовать Proxy ARP. Основной маршрутизатор будет иметь адрес 131.108.98.171, который принадлежит управляющему интерфейсу коммутатора. Маска подсети будет 255.255.0.0.

LANE Client: 47.0091810000000010F6737401.0010F6737402.**

LANE Server: 47.0091810000000010F6737401.0010F6737403.**

LANE Bus: 47.0091810000000010F6737401.0010F6737404.**

LANE Config Server: 47.0091810000000010F6737401.0010F6737405.00

note: ** is the subinterface number byte in hex

aspcb#show lane default

interface ATM13/0/0:

LANE Client:

47.0091810000000010F6756301.0010F6756302.**

atm lecs-address-default 47.0091.8100.0000.0010.f673.7401.0010.f673.7405.00 1

atm lecs-address-default 47.0091.8100.0000.0010.f675.6301.0010.f675.6305.00 2

lane database atmbackbone

name atmbackbone server-atm-address 47.0091810000000010F6737401.0010F6737021.02

name atmbackbone server-atm-address 47.0091810000000010F6756301.0010F6755F21.02

name atmbackbone server-atm-address 47.0091810000000010F6737401.0010F6755F21.02

name atmbackbone server-atm-address 47.0091810000000010F6756301.0010F6737021.02

default-name atmbackbone

interface ATM13/0/0

no ip address

lane config auto-config-atm-address

lane config database atmbackbone

interface ATM13/0/0.2 multipoint

ip address 131.108.98.171 255.255.255.0

lane client ethernet atmbackbone

interface Ethernet13/0/0

ip address 131.108.98.181 255.255.255.0

ip default-gateway 131.108.98.171 255.255.0.0

Теперь конфигурируем интерфейсные модули LANE laneca и lanecb как LES/BUS для atmbackbone. Также конфигурируем LEC для привязки Ethernet VLAN 98 к ATM ELAN atmbackbone.

interface ATM0

atm preferred phy A

atm pvc 1 0 5 qsaal

atm pvc 2 0 16 ilmi

interface ATM0.2 multipoint

lane server-bus ethernet atmbackbone

lane client ethernet 98 atmbackbone

Теперь нужно конфигурировать интерфейсные модули LANE lane1a, lane1b, lane2a и lane2b. Это позволит привязать Ethernet VLAN 98 к ATM ELAN atmbackbone на каждом коммутаторе.

interface ATM0

atm preferred phy A

atm pvc 1 0 5 qsaal

atm pvc 2 0 16 ilmi

interface ATM0.2 multipoint

lane client ethernet 98 atmbackbone

На Рисунок 28 показаны физические подключения основных и резервных соединений ATM от каждого порта модуля LANE Dual-PHY к портам коммутаторов aspca и aspcb.

Соединения ATM в ядре ATM LANE

Рисунок 28. Соединения ATM в ядре ATM LANE

Для того чтобы убедиться в правильности работы каждого LEC, можно воспользоваться командой show lane на каждом LEC.

Rwan#show lane

LE Client ATM0/0.2 ELAN name: atmbackbone

Admin: up State: operational

Client ID: 9 LEC up for 19 hours 16 minutes 16 seconds

Join Attempt: 2

HW Address: 0010.a64e.b800 Type: ethernet Max Frame Size: 1516

ATM Address: 47.0091810000000010F6756301.0010A64EB800.02

VCD rxFrames txFrames Type ATM Address 0 0 0 configure

47.0091810000000010F6737401.0010F6737023.00 4 1 290 direct

47.0091810000000010F6737401.0010F6737021.02 5 46581 0 distribute

47.0091810000000010F6737401.0010F6737021.02 6 0 16254 send

47.0091810000000010F6737401.0010F6737022.02 7 156271 0 forward

47.0091810000000010F6737401.0010F6737022.02

Если имеется параллельное ядро сети, основанное на Ethernet и предоставляющее возможности резервирования основного ядра, то необходимо для этого ядра использовать свой номер VLAN и свой адрес подсети. При использовании дублирующихся номеров подсетей на уровне ядра в части Ethernet и ATM LANE будут возникать петли, которые не лучшим образом скажутся на производительности сети.

Сравнение моделей проектирования кампусных сетей

Стратегия миграции

Многоуровневая модель сетевого дизайна описывает логическую структуру кампуса. Структура адресации и дизайн уровня 3 не зависят от типа выбранной среды передачи. Логически нет никаких отличий при проектировании сетей Ethernet, Token Ring, FDDI или ATM. Это не всегда справедливо, в особенности, когда дело касается немаршрутизируемых протоколов типа NetBIOS и SNA, которые являются зависимыми от среды передачи. Для того чтобы кадры Token Ring, имеющие размер более 1500 байт, ?засунуть? в сети Ethernet, необходимо приложить некоторые усилия, о которых пойдет речь дальше. На Рисунок 19 показана многоуровневая кампусная сеть с параллельными магистралями FDDI.

Технология MPOA (Multiprotocol Over ATM)

Технология MPOA добавляет в технологию ATM LANE функции прозрачной коммутации уровня 3. При этом используется та же инфраструктура ATM, что и в случае с ATM LANE. Компоненты LECS и LES/BUS для каждой ELAN конфигурируются обычным образом. На Рисунок 5 показан пример небольшой кампусной сети с применением технологии MPOA.

Управление правами доступа на уровне ядра

Благодаря коммутации уровня 3 на уровне ядра сети имеется возможность конфигурировать ядро системы либо как одну логическую подсеть, либо как несколько таких подсетей. Выбор того или иного варианта зависит от требований заказчика. Технология VLAN может использоваться для создания различных логических сетей, которые могут применяться для разных целей. Одно ядро IP создается на реализации функций управления сетью, а другое содержит в себе все корпоративные серверы. Для каждой логической подсети уровня ядра применяются разные правила разграничения прав доступа. Правила разграничения прав доступа задаются списками доступа (access list) на уровне распределения сети. В этом случае доступ к подсети, содержащей управляющий трафик, находится под постоянным контролем.

Другой причиной, вызывающей необходимость разделения ядра на логические части, является наличие более чем одного сетевого протокола. В части подключения корпоративных серверов создаются разные VLAN для протоколов IP, IPX, DECnet и т.д. Логическое разделение ядра сети может быть связано с требованиями по защите данных, когда для каждого протокола необходимо создать ?физически? отдельную сеть. На Рисунок 13 показана сеть, физически разделенная при помощи двух коммутаторов.

Виртуальные (VLAN) и эмулированные (ELAN) локальные сети

Одна из технологий, разработанных для обеспечения коммутации уровня 2 в кампусных сетях, называется технологией виртуальных локальных сетей (VLAN). Технология VLAN является одним из путей организации дополнительных логических сетей независимо от физической коммутации активного сетевого оборудования и конечных узлов. Каждая логическая сеть VLAN функционирует как отдельный широковещательный пакет и имеет характеристики, сходные с расширенной сетью с использованием мостов. Протокол STP нормально функционирует между коммутаторами, принадлежащими одной VLAN.

На Рисунок 2 показаны три VLAN, помеченные розовым, пурпурным и зеленым цветом. Каждое цветовое обозначение соответствует рабочей группе, каждая из которых соответствует определенной подсети:

Розовый (pink) ? 131.108.2.0

Пурпурный (purple) ? 131.108.3.0

Зеленый (green) ? 131.108.4.0

Одной из технологий, обеспечивающей распространение одной VLAN по всему кампусу, называется VLAN Trunking. Каналы связи, реализующие эту технологию, называются VLAN trunk. Мы будем называть такие соединения магистральными соединениями VLAN.

Включение фермы серверов

На Рисунок 24 показана ферма корпоративных серверов, подключенная к VLAN 100.

Настоящий документ содержит краткое сравнение

Введение

Настоящий документ содержит краткое сравнение нескольких подходов к проектированию корпоративных внутренних сетей с многоуровневой коммутацией. Далее будет представлено более детальное описание иерархического подхода к проектированию, называемого многоуровневой коммутируемой корпоративной сетью. Многоуровневый подход к проектированию сетей обеспечивает оптимальное использование многоуровневой коммутации, что позволит создать масштабируемую, отказоустойчивую и управляемую сеть.

Независимо от того, по какой топологии построена корпоративная сеть ? Ethernet или ATM (Asynchronous Transfer Mode) ? применение многоуровневой модели имеет множество преимуществ. Многоуровневая кампусная сеть имеет строгое иерархическое разделение различных компонентов, что обеспечивает значительное упрощение процедур поиска и устранения неисправностей при масштабировании такой сети. Кроме того, многоуровневая модель проектирования предоставляет возможность модульности сети, что позволяет увеличивать общую производительность сети при добавлении дополнительных строительных блоков. ?Интеллектуальные? службы уровня 3 обеспечивают блокировку передачи широковещательного трафика по магистралям сети (имеется в виду ядро системы). ?Интеллектуальные? маршрутные протоколы уровня 3, такие как Open Shortest Path First (OSPF) и Enhanced Interior Gateway Routing Protocol (EIGRP), обеспечивают разделение потоков данных при передаче трафика по альтернативным путям и быстрое время сходимости маршрутных таблиц в ядре системы.

Благодаря тому, что многоуровневая модель проектирования подразумевает сохранение имеющейся системы внутренней адресации узлов, процесс миграции к новым технологиям и активному сетевому оборудованию максимально облегчается. Отказоустойчивость сети и быстрая сходимость маршрутных протоколов обеспечиваются за счет использования протоколов UplinkFast и Hot Standby Routing Protocol (HSRP). Масштабирование пропускной способности обеспечивается переходом с технологий Fast Ethernet и Gigabit Ethernet на технологии Fast EtherChannel и Gigabit EtherChannel соответственно. Эта модель обеспечивает поддержку всех общих кампусных протоколов.

Идеи, изложенные в настоящем документе, отражают богатый опыт, полученный при построении большого количества внутренних корпоративных сетей (интрасетей). Детализированные примеры конфигураций устройств, представленные в приложениях к настоящему документу, позволяют читателям более подробно вникнуть в суть применения многоуровневой коммутации в ядрах систем, построенных с применением технологий Ethernet или ATM LANE (LAN Emulation).