Сетевые технологии

Всего за пару лет поездка москвича в метро перестала быть ежедневной рутиной. Если раньше единственным развлечением в подземке были чтение книг, прессы и MP3-плеер, то теперь к ним добавились онлайн-шоппинг, просмотр сериалов, деловая переписка, даже знакомства в Tinder и квесты. А все благодаря появлению в метро бесплатной сети Wi-Fi. Порядка 80% москвичей регулярно подключаются к сети MT_FREE в метро, не задумываясь, как это работает и чьими силами это сделано. Бытует мнение, что Wi-Fi в метро “провел” сам метрополитен, но это не совсем верно. Беспроводная сеть - это проект “МаксимаТелеком”. Для компании это был первый опыт строительства высокоскоростной сети Wi-Fi с уникальными в мировой практике инженерными и техническими решениями. В этом посте мы расскажем, как организована сеть Wi-Fi в метро Москвы.

На самом деле у нас две сети...

Радиосеть внутри вагонов

Вы входите в вагон, видите стикер с названием сети или уже по привычке включаете Wi-Fi на своем телефоне. В это же время устройство подключается к сети с SSID MT_FREE. Она организована высокоплотными точками доступа, которые находятся в каждом вагоне, работают в двух диапазонах 2,4 ГГц и 5 ГГц и поддерживают стандарты 802.11a/b/g/n. Управляет ими контроллер в головном вагоне. В составе таких вагонов два, а значит, и контроллера тоже два. Все оборудование в подвижном составе, в том числе и между вагонами, соединяют кабели - витая пара.

Дело техники

Для организации сети Wi-Fi и сетевой инфраструктуры в подвижном составе мы использовали оборудование Cisco: в частности, точки доступа air-cap2602i, контроллеры air-ct2504, коммутаторы 29хх серии и маршрутизаторы 8хх серии. Для повышения отказоустойчивости между вагонами мы проложили две кабельные трассы. Если углубляться в сетевую архитектуру, то Layer2 для пользовательского трафика терминируется на маршрутизаторе в подвижном составе, а NAT (network address translation) осуществляется на пограничных маршрутизаторах сети точно так же, как это организовано у большинства операторов проводного доступа.

Радиосеть поезд-тоннель

После прохождения внутренней поездной сети данные передаются на стационарную сетевую инфраструктуру с использованием радиоканала поезд-тоннель. Он устанавливается между базовой станцией, находящейся в каждом головном вагоне, и базовыми станциями, расположенными вдоль пути следования подвижного состава в тоннеле, а также на открытых участках путей. Расположение базовых станций вдоль путей таково, что поезд движется в сплошном радиополе. Благодаря этому перерывы в связи минимальны. Базовые станции на поезде размещаются так же, как и контроллеры точек доступа на каждом головном вагоне, при этом во время движения состава активна только одна из станций. Радиоканал работает в том же частотном диапазоне, что и Wi-Fi – 5 ГГц, но использует проприетарный протокол передачи данных. В отличие от оборудования внутри поезда, оборудование радиоканала поезд-тоннель можно увидеть снаружи подвижного состава и в тоннелях/на открытых участках путей.

Дело техники

Для организации канала связи используется оборудование производства компании Radwin серии 5000. Оно использует чипы Wi-Fi, соответствующие стандарту 802.11n, при этом данные передаются по проприетарному протоколу, основанному на TDM (Time Division Multiplexing), который формируется дополнительной микросхемой. Синхронизация базовых станций осуществляется по протоколу, схожему с PTP 1588v2.

Разрешенный частотный спектр 5150 – 5350 МГц разбит на пять непересекающихся каналов по 40 МГц каждый. На каждой линии используются все пять каналов, обычно в последовательности 1-3-5-2-4, чтобы максимально избежать влияния помех при работе соседних устройств в одном частотном диапазоне.

Сетевая архитектура

Каждая базовая станция на пути следования поезда подключена к расположенным в служебных помещениях метрополитена коммутационным узлам с помощью выделенной волоконно-оптической сети. Бесперебойное электроснабжение базовых станций также организовано с помощью оборудования, установленного в этих коммутационных узлах.

Архитектура стационарной сети передачи данных не отличается от типовой архитектуры операторов связи. Это “двойная звезда” с географическим резервированием каналов связи и ключевого оборудования. В сети есть несколько каналов связи с магистральными операторами связи, общей пропускной способностью более 60 Гбит/с.

Дело техники

Сетевое оборудование на уровне доступа (коммутаторы, в которые непосредственно включаются базовые станции), агрегации, а также ядра представлено коммутаторами и маршрутизаторами Cisco.

Базовые станции подключаются в коммутаторы с использованием WDM-технологии для экономии волокон (то есть по одному волокну на разных длинах волн одновременно происходит прием и передача данных). Коммутаторы доступа имеют по два аплинка с георезервированием (кабели ВОЛС физически расположены в разных тоннелях) в коммутаторы агрегации по 1 Гбит/с каждый. Те, в свою очередь, подключены по георезервированным линиям связи в коммутаторы ядра, но уже интерфейсами 10 Гбит/с.

Хьюстон, у нас проблемы...

Технологические сложности

Для работы в метрополитене нужно оборудование:

• выдерживающее тяжелые условия эксплуатации в тоннеле (взвешенная металлическая пыль и машинное масло) и на подвижном составе (резкие перепады температур и вибрация);
• удовлетворяющее требованиям метрополитена (использовать негорючие материалы, соответствовать требованиям по электромагнитной совместимости, работать от нестандартных источников питания);
• имеющее необходимую для работы сети функциональность.

В метрополитене в подвижном составе используется постоянный ток с номинальным напряжением 80В. Однако в зависимости от состояния аккумуляторных батарей и количества разрывов в контактном рельсе реальное напряжение “скачет” от 30В до 150В .

Найти приемлемый по цене блок питания с такими параметрами нам не удалось, а стоимость подходящих вариантов делала проект нецелесообразным.

Здесь нас очень выручила компания из Новосибирска «Сибконтакт». Под наши требования коллеги изготовили блок питания, который мы успешно протестировали и в дальнейшем использовали во всех составах. Устройства оказались очень надежными, стоили недорого, а производить необходимое количество поставщик успевал за несколько недель, а не месяцев, как это происходит обычно.

Также мы столкнулись с нестандартным электропитанием в тоннеле - двухфазной сетью с напряжением 127В. Запитать оборудование, работающее от однофазной сети 220В от нее невозможно, и мы протягивали новые кабели от собственных источников питания, установленных в технических помещениях станций. Это повысило надежность сети, поскольку мы применили источники бесперебойного питания и автоматы ввода резерва.

Большие трудности вызвало и многообразие типов поездов . Это повлияло на работу по проектированию размещения оборудования локальных сетей составов - она была колоссальной. Во-вторых, при строительстве выяснилось, что почти все составы, даже одной серии и года выпуска – разные. Это связано с тем, что их постоянно модернизировали и устанавливали дополнительное оборудование. Такие работы проводились отдельно по каждому составу, а мы каждый раз оснащали поезд уникальным образом.

Серьезные вопросы возникли при радиопланировании сети. Они были связаны как с разнообразием материалов, из которых выполнены тоннели , так и с нехваткой исходной информации по их конструкции, геометрии, а также ответвлениям и препятствиям.

Мы сами полностью обследовали все тоннели - в московском метро их более 330 км, а в двухпутном исчислении более 660 км. Мы применяли определенные метрики и правила размещения базовых станций, а уже после установки и запуска оборудования в ходе эксплуатации проводили измерения радиопокрытия и уточняли оптимальные точки размещения оборудования. Некоторые базовые станции нам пришлось перенести уже после установки.

Эти трудности заставили нас вместе с коллегами из нижегородской компании «Радио Гигабит» провести научно-исследовательские работы и разработать уникальную методику радиопланирования в тоннелях, которая базируется на симуляции (математическом моделировании) канального и системного уровня транспортной радиосети в тоннелях и на открытых участках. В новых проектах мы уже не гадаем, а точно знаем, как именно расставлять оборудование для получения заданных характеристики канала.

Архитектурные сложности

Основное оборудование, формирующее радиоканал между составом и тоннелем располагается в “голове” (помним, что их две), при этом вагоны при заезде в депо в подвижных составах постоянно меняются. Сеть работает в постоянном движении, в результате которого все время меняются сетевые порты и физические устройства, через которые идет трафик одних и тех же сессий из одного состава. В связи с этим мы решали целый ряд архитектурных проблем:

• полностью автоматическая настройка сети состава при замене или изменении порядка вагонов
• распределение внутривагонных точек доступа между двумя контроллерами W-Fi в поезде
• корректное получение пользователями и оборудованием в составе IP-адресов
• “выход” трафика пользователя через правильную базовую станцию, активную в данный момент времени
• перескакивание MAC-адресов с одного порта стационарного коммутатора на другой при движении поезда (в стационарной сети такое не происходит или случается крайне редко), требующее постоянного “переобучения” сетевых портов на MAC-уровне

Отдельную проблему представлял мониторинг нашей сети. Обычные системы мониторинга сетевого оборудования неспособны отличить ситуацию, при которой состав уходит из зоны радиопокрытия от поломки оборудования состава. Это приводит к большому количеству ложных срабатываний системы предупреждений о неисправностях. Кроме того, единицей мониторинга и технического обслуживания является именно поезд (поскольку всегда надо понимать, где находится в данный момент та или иная единица оборудования и как она соединена с другими элементами сети), а на практике составы в метро - сущность динамическая, состав вагонов в которой может меняться ежедневно, а то и по два раза в день. Мы создали собственные средства мониторинга, которые автоматически детектируют появление поезда в зоне покрытия, “обходят” его, определяя состав и порядок следования вагонов и установленного в них оборудования и представляют операторам центра управления сетью данные уже в разрезе фактически действующих на линии поездов.

Это ключевые технические задачи, которые «МаксимаТелеком» решала при планировании и создании сети. Причем процесс этот продолжается до сих пор, поскольку нагрузки на сеть растут и появляются новые станции метро. Многие уроки, полученные в ходе московского проекта, мы применили при строительстве сети Wi-Fi в метро Петербурга, благодаря этому её удалось сделать гораздо более производительной и быстрой. Но об этом мы расскажем в следующих постах.

По информации компании, на всех 226 станциях Московского метрополитена сеть МТС доступна в следующих стандартах: 2G, 3G и . Абоненты МТС могут также совершать голосовые вызовы и пользоваться во время движения в вагоне в тоннелях метро при помощи сетей «второго» и «третьего» поколения, а на ряде участков Калининско-Солнцевской и Сокольнической веток и в стандарте 4G.

Москвичи проводят под землей в среднем порядка 40 минут в день и не готовы на это время отказаться от голосовых услуг и доступа к привычным приложениям, мессенджерам , электронной почте и онлайн-играм. Совместный проект с Московским метрополитеном по оснащению всех станций метро современным стандартом связи позволит нашим абонентам комфортно пользоваться любыми цифровыми сервисами, в том числе чувствительными к скорости мобильного интернета .

Максимальная скорость мобильного интернета на февраль 2019 года на станциях может достигать 250 мегабит в секунду. Средние скорости при обычном пассажиропотоке позволят ожидающим прибытия поезда полноценно пользоваться любыми интернет-сервисами: от простого общения в мессенджерах до просмотра онлайн-видео в высоком качестве.

До конца 2019 года МТС планирует обеспечить стандартом 4G все тоннели метрополитена. На февраль 2019 года ежедневно сетью МТС в метро пользуется более двух миллионов абонентов. В месяц пассажиры метрополитена используют в среднем 360 терабайт мобильного интернета.

2018

План модернизации Wi-Fi-сети на 1 млрд рублей

10 сентября 2018 года стало известно, что оператор связи "МаксимаТелеком ", который занимается развитием Wi-Fi в общественном транспорте , решил модернизировать сеть беспроводного интернета в Московском метрополитене в связи с ростом трафика.

Модернизация займет полтора-два года. Оператор планирует установить радиооборудование, обеспечивающее скорость до 500 Мбит в секунду (ранее пиковая скорость составляла 100-110 Мбит/с), а также обновит поездные антенны и программное обеспечение базовых станций.

Общий объем инвестиций в модернизацию может составить примерно 1 млрд рублей, хотя точную сумму компания определит позднее .

Крупная утечка: Оператор Wi-Fi в метро Москвы выкладывает данные о пользователях в общий доступ

«Максимателеком» с 2013 г. строит в столичном метрополитене Wi-Fi-сеть с Wi-Fi-доступом в интернет. В вагонах устанавливают Wi-Fi -роутеры, которые подключены по проприетарному протоколу к беспроводной транспортной «Максимателеком».

Ранее в СМИ появилась информация о том, что пассажирка увидела флаг запрещенной в России террористической группировки ИГ при подключении к бесплатному Wi-Fi на Калужско-Рижской линии, а также сообщение с угрозами проведения терактов в Москве.

После терактов в Париже в ноябре 2015 года пассажиры московского метро увидели аналогичное сообщение при попытке подключиться к интернету. Тогда в "Максима Телеком" также говорили, что взлома сети не было.

2013-2014

В Московском метрополитене Wi-Fi появился в 2013 году, а 1 декабря 2014 года сеть MosMetro_Free заработала на всех 12 линиях подземки. Для её функционирования в 330 километрах подземных тоннелей протянули 880 километров оптического кабеля и установили более 900 базовых станций (устройств, которые транслируют радиосигнал). Почти 5,5 тысячи вагонов метро оборудованы Wi-Fi-роутерами (устройствами, которые принимают сигнал от базовых станций и раздают пассажирам). Каждый из 650 поездов столичной подземки подключается к интернету на скорости до 100 Мбит/с, а общая пропускная способность сети составляет 20 Гбит/с .

Интересна и экономическая модель подземной сети Wi-Fi: доступ в неё бесплатный - и всё-таки приносит прибыль. Во-первых, оператор зарабатывает на показах рекламы. Во-вторых, при каждом заходе в сеть автоматически загружается информационно-развлекательный портал. За счёт размещения партнёрского контента оператор также осуществляет монетизацию сервиса. По статистике, ежедневная аудитория ресурса составляет более миллиона пользователей, при этом порядка 50 процентов из них за сутки посещают сайт дважды и чаще.

В 2018 году на всех 12 линиях Московского метрополитена работает бесплатный Wi-Fi. Интернет раздаётся только в вагонах, поэтому на станции воспользоваться им не получится. Каждый состав подключен к сети на скорости 100 Мбит в секунду. Этой скорости хватает, чтобы в каждом вагоне более сотни человек одновременно пользовались интернетом.

Как подключиться?

При первом подключении нужно пройти идентификацию для доступа к Wi-Fi. Это обязательная процедура, основанная на Постановлении Правительства РФ N 801 г. Москва от 12.08.2014 .

По номеру мобильного телефона

К одному номеру телефона можно привязать до 5 устройств: смартфонов, планшетов, ноутбуков.

Через учётную запись на портале ГОСУСЛУГИ

1. Включите вай-фай на своём смартфоне, планшете или ноутбуке. Обновите список сетей и подключитесь к точке доступа «MosMetro_Free».
2. Откройте веб-браузер и введите адрес сайта vmet.ro. Вас перенаправят на страницу идентификации. Нужно открывать именно новую страницу, а не обновлять старую!
3. Нажмите на кнопку «Войти через Госуслуги».
4. Вы перейдёте на страницу авторизации ЕСИА. Введите логин и пароль к сайту Госуслуги.ру.
5. Идентификация завершена, нажмите на кнопку «Войти в Интернет».

Идентификация через компьютер