Однажды я работал сисадмином в небольшом интернет-провайдере в Красноярске. Сетка очень местечковая и, в основном, для юрлиц, с которыми уже были налажены связи ранее. Их история мне не известна, но то, что там никого другого не было, о чём-то говорит. Но я хочу рассказать про техническую сторону вопроса.

Общая схема работы

Все пользователи - юрлица, которые арендуют офисы в нескольких зданиях (некоторые здания были довольно далеко от узла). После подключения, они втыкают свои компьютеры в настенные разетки и меют интернет, согласно своему тарифу. С их стороны не требуются ни роутеры, ни свичи, ничего такого.

Ядро сети

В ядре сети был большой L3 коммутатор HP ProCurve 54хх серии, точнее уже не скажу модель. Модульный, быстрый (на тот момент) он тянул сотни наших клиентов, имея довольно дружелюбный, как мне тогда казалось, cli.

Но когда я устраивался туда работать, опыта настройки больших коммутаторов, железных маршрутизаторов почти и небыло - и вот я сисадмин, которого взяли вместо прошлого, с которым небыло связи (какая-то мутная история, про которую мне так и не рассказали), без передачи дел, без онбординга от коллеги.

Этот коммутатор собирал кучу VLAN’ов, и был шлюзом для всех абонентов. А так же держал внешние каналы связи - основной и резервный.

Модули для сбора абонентских каналов были, в основном, 100Mb/s, но был и гигабитный - для внешнего доступа и подключения серверов.

Оборудование

Свичи доступа были самые разнообразные - Cisco, HP, Allied Telesis, 3Com, что-то ещё. Были коммутаторы на этаж, на здание, в среднем, 100Мбит на 24 порта с гигабитной оптикой для транк-портов. Большинство коммутаторов я не видел своими глазами за всё время работы. Самые удобные были HP и Cisco.

Часто я гуглил мануал перед тем как залезть на коммутатор и что-то там делать, что поначалу добавляло времени для решения таких задач, как подключение каких-то абонентов, особенно, если они были далеко и подключались через несколько коммутаторов.

Логическая часть

Итак, расскажу какой флоу был у типичной задачи с подключением. Абонент, обычно занимает один или несколько кабинетов. От количества розеток будет зависить размер выделенной ему сети - обычно выделяли /29 или /28 сети на абонента. У нас была “большая амбарная книга айпишников” со списком выделенных сетей абонентам и их VLAN. В итоге сидим смотрим сбободную сеть, если такой нет, то подбираем доступную сеть из возможных. Мы же помним, что “нарезка сетей” происходит по правилам и часто нельзя просто выделять /28 сеть вслед за /29 - надо смотреть как они там объединяются.

Пример для пояснения. Идут сети:

• 10.128.0.0/29
• 10.128.0.8/29
• 10.128.0.16/29

И тут нам надо выделить /28 сеть. Взять 10.128.0.24/28 нам уже нельзя, так как такая сеть имеет адрес 10.128.0.16/28, поэтому пропускаем /29 блок, образуется дырка для /29 сети и в работу берём уже сеть 10.128.0.32/28 и передаём людям, которые заводят эту сетку в биллинг.

Идём дальше. Подобрали сеть и VLAN, создали VLAN интерфейс на core-коммутаторе, прописали ему IP, который будет шлюзом для клиентов, не забыли добавить в настройку ip-helper для этой сети - отдельный linux-сервер, который раздаёт адреса абонентам. После этого добавляем новую сеть и в настройки dhcp-сервера. Проверяем синтаксис, переходим к оборудованию доступа.

На коммутаторе доступа ищём свободные (или нужные уже подключенные) порты, настраиваем на них нужный VLAN, добавляем этот VLAN в транк-порт. Если этот коммутатор в ядро сети подключён через другие устройства, то подключаемся ко всем транзитным коммуторами и прописываем этот влан на обоих транк-портах - uplink и downlink. Так по цепочке доводим VLAN до ядра сети.

Если порты физически отключены от коммутаора на этаже, топаем к оборудованию, делаем уже физическую коммутацию.

Ну и финал - идём к абоненту в кабинет, проверяем настройки уже на месте - подключаем клиентское оборудование, которое автоматом получает настройки с нашего узла связи, который может быть за много десятков км от абонента.

Были ли фэйлы у меня на этом этапе? Да, конечно. Однажды я на циске не добавил влан в транк-порт, а назначил его один - у всех абонентов на этом свиче пропала сеть, а я потерял доступ до коммутатора. Перезагрузка устройства помогла - настройки же не были сохранены, но было нервненько.

Бордер, биллинг

Про биллинг и шейпинг не пишу - шейпил linux-сервер, который брал данные из биллинга, написанного на Java - я его почти не касался.

Был ещё linux-сервер, который держал BGP-сессии - с ним было немного возни, особенно когда мы балансировали входящий трафик с помощью добавления префиксов, но, в целом, повторюсь, особо проблем не было.

Заключение

Работа даже в небольшом интернет-провайдере была веьма увлекательна с этой точки зрения. А вот другая часть - выезды к клиентам и решение их проблем (настройка принтеров, роутеров, точек доступа, макбуков) - была уже менее интересна, позитивная. Да и более нервная она была, чего уж.

Несмотря на весь нервяк и негатив, я хапнул много практического опыта с сетями, который я применяю и сейчас - дома, в дружественных сетях, в своих пет-проектах.

Если вам хочется вкусить чего-то подобного - сейчас можно строить большие виртуальные лабы для прокачки своих скиллов. Да, это не реальное железо, но с RuterOS от Mikrotik уже можно напрактиковаться как в cli, так и в web/winbox.