diff --git a/README.md b/README.md index 4f957d7..98c0021 100644 --- a/README.md +++ b/README.md @@ -15,7 +15,7 @@ ### [1. Введение и общая архитектура АСБИ](chapters/01.md) - 1.1. Что такое АСБИ (Автоматизированная система обеспечения безопасности интернета) -- 1.2. Закон о суверенном интернете и участники проекта (ГУП ГРЧЦ, АО ДЦА, RDP.ru) +- 1.2. Закон о суверенном интернете и участники проекта (ГРЧЦ, ДЦОА, RDP.ru) - 1.3. Что такое ТСПУ — комплекс оборудования у операторов связи - 1.4. Общая схема: байпасы, балансировщики, фильтры, сегмент управления diff --git a/chapters/01.md b/chapters/01.md index 3f798b6..d2c081d 100644 --- a/chapters/01.md +++ b/chapters/01.md @@ -6,110 +6,138 @@ ## 1.1. Что такое АСБИ -**АСБИ** (Автоматизированная система обеспечения безопасности интернета) — это государственная система, создаваемая в рамках реализации закона о суверенном интернете. Её основная задача — обеспечить возможность анализа, фильтрации и управления интернет-трафиком на уровне операторов связи на всей территории Российской Федерации. +**АСБИ** (Автоматизированная система обеспечения безопасности интернета; полное официальное наименование — «автоматизированная система обеспечения безопасности российского сегмента сети Интернет») — государственная система, создаваемая в рамках реализации закона о суверенном интернете. Система обеспечивает фильтрацию и обработку интернет-трафика непосредственно на сетях операторов связи под централизованным управлением. -АСБИ представляет собой распределённую иерархическую систему, состоящую из: +АСБИ состоит из двух основных частей: -- **ТСПУ** (технические средства противодействия угрозам) — комплексы оборудования, устанавливаемые непосредственно у операторов связи; -- **Центральная система управления (ЦСУ)** — централизованная платформа для управления всеми ТСПУ, развёрнутая на двух физически независимых площадках с резервированием. +- **ТСПУ** (технические средства противодействия угрозам) — комплексы оборудования, устанавливаемые непосредственно у операторов связи, в разрыв их каналов связи; +- **Центральная система управления (ЦСУ)** — централизованная система, с которой взаимодействуют все ТСПУ и через которую выполняются основные операции по управлению их оборудованием: доступ к устройствам площадок, формирование и распространение списков фильтрации, мониторинг, логирование, централизованная установка программного обеспечения. -Все ТСПУ связаны с ЦСУ и управляются через неё. Именно через центральную систему управления выполняются основные операции по конфигурированию, мониторингу и обновлению оборудования ТСПУ. - -## 1.2. Закон о суверенном интернете и участники проекта - -Проект АСБИ реализуется в рамках **закона о суверенном интернете** (Федеральный закон № 90-ФЗ). В реализации проекта участвуют несколько ключевых организаций: - -| Роль | Организация | Описание | -| -------------------------- | --------------------------------------- | --------------------------------------------------------------------------------------------------------------- | -| **Заказчик** | ГУП ГРЧЦ (Главный радиочастотный центр) | Представляет интересы государства | -| **Генеральный подрядчик** | АО «ДЦА» | Осуществляет общее руководство проектом | -| **Поставщик оборудования** | RDP.ru | Поставляет два типа устройств: **балансировщики** и **фильтры**, а также разрабатывает часть системы управления | - -Проект развивался поэтапно: - -- **Пилотный проект** — развёрнут на Урале, включает ограниченное количество площадок. Использует байпасы GL Sun и раннюю версию ЦСУ; -- **Федеральный проект** — масштабное развёртывание по всей стране. Включает байпасы Silicom, новое оборудование фильтров (модели 2020 года), новую версию ЦСУ и эшелонированную систему фильтрации. На данном этапе предполагается порядка **350 площадок** и суммарно около **5 000 устройств**. - -## 1.3. Что такое ТСПУ — комплекс оборудования у операторов связи - -**ТСПУ** (Технические средства противодействия угрозам) — это комплекс оборудования, который устанавливается **в разрыв каналов связи оператора**. ТСПУ перехватывает проходящий трафик, анализирует его и при необходимости выполняет блокировку или деградацию определённых типов соединений. - -Ключевой принцип работы ТСПУ — **прозрачность для оператора**. С точки зрения сетевой топологии оператора, ТСПУ представляет собой «прозрачный провод»: трафик, вошедший через определённый канал связи, обязательно возвращается в тот же канал. Оператор не должен вносить изменения в свою маршрутизацию при установке ТСПУ. - -ТСПУ может устанавливаться в нескольких различных местах сети оператора (подробнее — в [разделе 6](06.md)), и на одной площадке оператора может быть развёрнуто различное количество оборудования в зависимости от объёма трафика и количества каналов связи. +ЦСУ размещается в двух физически независимых ЦОД — на основной и резервной площадках — с резервированием. Связь площадок ТСПУ с ЦСУ организована через интернет по шифрованным VPN-каналам: каждая площадка ТСПУ связана как с основной, так и с резервной площадкой ЦСУ, а площадки ЦСУ связаны VPN-каналом между собой. На текущем этапе ЦСУ обслуживает порядка **350 площадок** ТСПУ и суммарно около **5 000 устройств**; в дальнейшем система будет расширяться (подробнее — в [разделах 9](09.md) и [10](10.md)). На схемах ЦСУ обозначается как **ЦСУО** — центральная система управления оборудованием. image +_Общая схема АСБИ: центральная система управления (ЦСУО) и ТСПУ на сетях операторов связи, связанные через интернет._ + +## 1.2. Закон о суверенном интернете и участники проекта + +Проект АСБИ реализуется в рамках **закона о суверенном интернете** — Федерального закона от 01.05.2019 № 90-ФЗ, который ввёл в законодательство о связи понятие технических средств противодействия угрозам. В реализации проекта участвуют несколько ключевых организаций: + +| Роль | Организация | Описание | +| -------------------------- | ---------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------- | +| **Заказчик** | ГРЧЦ (ФГУП «Главный радиочастотный центр», подведомственное Роскомнадзору) | Выступает заказчиком от лица государства | +| **Генеральный подрядчик** | АО «ДЦОА» («Данные — центр обработки и автоматизации») | Интегратор проекта: поставка и внедрение ТСПУ на сетях операторов связи | +| **Поставщик оборудования** | RDP.ru (ООО «РДП.РУ») | Разработчик и поставщик двух типов устройств ТСПУ — **балансировщиков** и **фильтров**; разрабатывает также часть системы управления | + +Проект развивался поэтапно: + +- **Пилотный проект** — развёрнут на Урале. Используются оптические байпасы GL Sun (работают только в режиме аппаратного байпаса, каждое переключение сопровождается флапом линков оператора), фильтры моделей 2019 года и отдельная ранняя версия ЦСУ. При потере связи с фильтром вся площадка переводится на аппаратный байпас. Системные логи устройств на внешний сервер не сохраняются; +- **Федеральный проект** — развёртывание ТСПУ по всей стране. Включает байпасы Silicom, фильтры моделей 2020 года, новую ЦСУ (к ней переподключаются и уральские площадки), сохранение системных логов на серверах СПХД, а также программный байпас на уровне отдельной группы портов балансировщика (пары интерфейсов в сторону фильтра) — без флапов линков у оператора; перебалансировка трафика на другие группы технически возможна, но в проекте её предполагается отключить. + +## 1.3. Что такое ТСПУ — комплекс оборудования у операторов связи + +**ТСПУ** (Технические средства противодействия угрозам) — это комплекс оборудования, который устанавливается **в разрыв каналов связи оператора**: каналы оператора разрываются и заворачиваются на ТСПУ, а именно на его байпасы. Основные устройства ТСПУ — фильтры — выполняют фильтрацию и обработку проходящего трафика: распознавание протоколов средствами DPI (Deep Packet Inspection), фильтрацию по реестру Роскомнадзора, блокировку и деградацию протоколов (подробнее — в [разделах 5](05.md), [17](17.md) и [23](23.md)). + +Ключевой принцип работы ТСПУ — **прозрачность для оператора**. Фильтры обрабатывают трафик на канальном уровне (L2) — на пути прохождения трафика нет L3-интерфейсов, а байпасы и балансировщики только передают его между парными портами. Поэтому для внешнего наблюдателя ТСПУ представляет собой «провод»: трафик, вошедший через определённый канал связи оператора, обязательно возвращается в тот же канал — ТСПУ не меняет прохождение пакетов по каналам оператора. По требованию операторов оборудование должно быть незаметно в их сети; поэтому, например, на фильтрах отключается протокол LLDP (подробнее — в [разделах 4.3.2](04.md), [5.2](05.md) и [15.2.5](15.md)). + +ТСПУ может устанавливаться в нескольких различных местах сети оператора (подробнее — в [разделе 6](06.md)). На одной площадке оператора может быть развёрнуто различное количество оборудования в зависимости от количества каналов связи и объёма трафика — от двух-трёх фильтров на небольших площадках до полутора десятков на крупных. + Существует два типа ТСПУ: -- **ТСПУ тип А** (первый эшелон) — основной тип, устанавливается у большинства операторов. Когда говорят просто «ТСПУ» без уточнения, подразумевают именно тип А; -- **ТСПУ тип Б** (второй эшелон, эшелонированная система) — устанавливается на уровне ядра сети крупных операторов для обработки трафика, который не прошёл через ТСПУ тип А (подробнее — в [разделе 7](07.md)). +- **ТСПУ тип А** (первый эшелон) — основной тип, который используется практически везде. Под «ТСПУ» без уточнения типа подразумевается именно тип А; +- **ТСПУ тип Б** (второй эшелон, эшелонированная система) — устанавливается на уровне ядра сети крупных операторов для обработки трафика, который не прошёл через ТСПУ тип А; эшелоны позволяют сократить число ТСПУ, устанавливаемых у мелких операторов по всей стране (подробнее — в [разделе 7](07.md)). ## 1.4. Общая схема: байпасы, балансировщики, фильтры, сегмент управления ТСПУ состоит из следующих подсистем (устройств): +- **байпасы**; +- **балансировщики**; +- **фильтры**; +- **сегмент управления** — отвечает за внутреннее управление устройствами ТСПУ и их связь с ЦСУ; +- **вспомогательные серверы** различного назначения — SPFS и СПХД. + image +_Состав ТСПУ. Слева — абоненты и оборудование оператора (BRAS/BPE/CGNAT/GGSN/PGW), справа — P/PE и интернет. Зелёные каналы — LAN, синие — WAN; операторские линки — N × 1/10/40/100GE, линки между балансировщиками и фильтрами — M × 10GE. Блок «Управление» связан с ЦСУО по VPN._ + +| Подсистема | Назначение | От чего зависит количество | Интерфейсы | +| ------------------- | ----------------------------------------------------------------- | --------------------------------------------------- | ----------------------------------------- | +| **Байпасы** | Точка врезки в каналы оператора, аппаратная защита каналов | От числа операторских линков | 10–100 Гбит/с, редко 1 Гбит/с | +| **Балансировщики** | Распределение трафика по фильтрам | От числа каналов и объёма операторского трафика | 32 порта, 10/100 Гбит/с | +| **Фильтры** | Анализ и обработка трафика (DPI, блокировка, деградация) | Только от объёма операторского трафика | 10 Гбит/с, редко 1 Гбит/с; 100 Гбит/с нет | +| **Сегмент управления** | Связь всех устройств площадки с ЦСУ | Не зависит от трафика и числа каналов | Management-сеть, VPN | + +### LAN и WAN + +Все порты ТСПУ делятся на две группы. Это разделение идёт от фильтров, для которых принципиально, в какую сторону смотрит порт, и прослеживается через всё оборудование ТСПУ — от байпасов до балансировщиков: + +- **LAN-порты** — смотрят в сторону абонентов (в сторону оборудования оператора, за которым находятся абоненты: BRAS, CGNAT и т. п.); +- **WAN-порты** — смотрят в сторону интернета. + +Как это разделение закреплено на портах фильтров и балансировщиков, описано в [разделах 2.2](02.md), [4.3](04.md) и [11.5](11.md). ### Байпасы -Байпасы — это устройства, обеспечивающие **физическую защиту каналов связи оператора**. Каналы связи оператора разрываются и заворачиваются на байпас. Количество байпасов на площадке определяется количеством линков оператора, в разрыв которых устанавливается ТСПУ. +Байпасы — это устройства, на которые заводятся разорванные каналы связи оператора. Количество байпасов на площадке определяется **исключительно количеством линков оператора**, в разрыв которых устанавливается ТСПУ. -Байпасы работают на скоростях **10–100 Гбит/с** (в отдельных случаях — 1 Гбит/с). В случае аварии (например, обесточивания) байпас замыкает каналы напрямую, минуя остальное оборудование ТСПУ, чтобы не нарушить связность сети оператора. +Скорость байпаса зависит от модели и установленных модулей: как правило, это **10 или 100 Гбит/с**; площадок с гигабитными линками мало. После байпасов все каналы приходят на балансировщики. + +Байпас — последнее средство сохранить трафик оператора при отказе ТСПУ: при обесточивании оборудования он на физическом уровне замыкает каналы оператора напрямую, минуя остальные устройства ТСПУ (при этом у оператора возможны флапы линков). Режимы работы байпасов и их отличия для проектов описаны в [разделе 3](03.md). ### Балансировщики -Балансировщики — это **высокопроизводительные программируемые коммутаторы**, принимающие трафик от байпасов и распределяющие его по подключенным фильтрам. +Балансировщики — это **высокопроизводительные программируемые коммутаторы**, принимающие трафик от байпасов и распределяющие его по подключённым фильтрам. В ТСПУ тип А используется балансировщик **EcoFilter Balancer**, в эшелонированной системе — **Eco Highway** (см. [раздел 7](07.md)). Основные характеристики: -- 32-портовые, одноюнитовые (1U); -- пропускная способность — **3,2 Тбит/с** (на полной скорости при размере пакета более 160 байт); -- количество балансировщиков зависит от количества каналов связи и объёма трафика оператора. +- 32 порта, одноюнитовое исполнение (1U); +- пропускная способность — **3,2 Тбит/с**, практически на полной скорости при размере пакета более 160 байт; как правило, этой производительности хватает с большим запасом; +- количество балансировщиков зависит от количества каналов связи и от объёма операторского трафика. -Все порты балансировщика разделяются на две группы: - -- **LAN-порты** — в сторону оборудования оператора (через байпасы), где находятся абоненты; -- **WAN-порты** — в сторону интернета. - -Эта идеология LAN/WAN прослеживается через всё оборудование ТСПУ — от байпасов до фильтров. +Подробно принципы балансировки описаны в [разделе 4](04.md), аппаратная платформа — в [разделе 20](20.md). ### Фильтры -Фильтры — это **основные устройства ТСПУ**, занимающиеся непосредственно анализом и обработкой трафика (DPI — Deep Packet Inspection). Именно на фильтрах выполняется распознавание протоколов, фильтрация по реестру Роскомнадзора, блокировка и деградация трафика. +Фильтры (**EcoFilter**) — это **основные устройства ТСПУ**, занимающиеся непосредственно анализом и обработкой трафика. На фильтрах ТСПУ тип А выполняются распознавание протоколов, фильтрация по реестру Роскомнадзора, блокировка и деградация трафика (в эшелонированной системе блокировка по спискам выполняется на балансировщике Eco Highway — см. [раздел 7](07.md)). -Количество фильтров зависит **исключительно от объёма трафика**, который необходимо обрабатывать: +Количество фильтров зависит **исключительно от объёма трафика**, который необходимо обрабатывать, а не от числа каналов оператора: -- У оператора с большим количеством каналов, но небольшим объёмом трафика — может быть мало фильтров; -- У оператора с малым количеством высокоскоростных каналов и большим трафиком — потребуется много фильтров. +- у оператора с большим количеством каналов, но небольшим объёмом трафика может быть мало фильтров; +- у оператора с малым количеством высокоскоростных каналов и большим трафиком потребуется много фильтров. -Фильтры подключаются к балансировщикам преимущественно интерфейсами **10 Гбит/с Ethernet** (в отдельных случаях — 1 Гбит/с). Количество интерфейсов между балансировщиком и фильтрами может значительно превышать количество каналов в сторону оператора. +Резервирование фильтров по схеме N+1 в проекте не предусмотрено: число фильтров на площадке рассчитывается так, чтобы пропустить трафик оператора в худшем сценарии. + +Фильтры подключаются к балансировщикам преимущественно интерфейсами **10 Гбит/с Ethernet** (на отдельных площадках — 1 Гбит/с); интерфейсов 100 Гбит/с у фильтров проекта нет. Поэтому количество каналов между балансировщиком и фильтрами не совпадает с количеством операторских каналов и может быть достаточно велико. + +Путь пакета через фильтр описан в [разделе 5](05.md), модельный ряд и аппаратная платформа — в [разделе 11](11.md). ### Сегмент управления -Сегмент управления — это набор коммутаторов, VPN-шлюзов и вспомогательных серверов, обеспечивающих связь оборудования ТСПУ с центральной системой управления. Через VPN-канал все устройства площадки подключаются к ЦСУ, что позволяет удалённо управлять каждым компонентом ТСПУ. +Сегмент управления — это набор коммутаторов, VPN-шлюз (криптошлюз «Континент», который через публичные интернет-каналы устанавливает VPN-соединение с таким же криптошлюзом в ЦСУ) и вспомогательные серверы, обеспечивающие связь оборудования ТСПУ — байпасов, балансировщиков и фильтров — с центральной системой управления. Через VPN-канал все устройства площадки подключаются к ЦСУ, что позволяет удалённо попадать на ТСПУ и управлять как комплексом в целом, так и каждым его устройством. -В состав сегмента управления также входят: +Вспомогательные серверы сегмента управления: -- **SPFS** (сервер предварительного формирования списков) — собирает протокольные логи с фильтров и передаёт их в ЦСУ для формирования списков блокировки; -- **СПХД** (сервер предварительного хранения данных) — используется для хранения системных логов с устройств площадки. +- **SPFS** (сервер предварительного формирования списков, на схемах — СПФС) — принимает с фильтров протокольные логи о распознанных сессиях и передаёт их в ЦСУ, где формируются списки блокировки (подробнее — в [разделе 8](08.md)); +- **СПХД** (сервер предварительного хранения данных) — хранит системные логи устройств площадки; используется в федеральном проекте (подробнее — в [разделе 14.8](14.md)). + +Адресация и устройство сегмента управления описаны в [разделе 10](10.md). ### Простейший вариант ТСПУ -В минимальной конфигурации ТСПУ может состоять из: +В минимальной конфигурации — один или два канала связи с небольшим трафиком — ТСПУ состоит из: + +- **одного байпаса**; +- **одного фильтра**, который обслуживает весь трафик оператора; +- **сегмента управления** — он обязателен даже в минимальной конфигурации: VPN-шлюз, SPFS, СПХД. -- **1 байпас** — для одного-двух каналов связи; -- **1 фильтр** — для обработки всего трафика оператора; -- **Сегмент управления** — SPFS, СПХД, коммутатор, VPN-шлюз. -- image -В таком варианте балансировщик не требуется, так как весь трафик обрабатывается одним фильтром. Однако могут быть подключены только каналы 1 или 10 Гбит/с Ethernet, поскольку фильтры текущего проекта не поддерживают интерфейсы 100 Гбит/с — только 1G и 10G в зависимости от модели. +_Простейший вариант ТСПУ: байпас и фильтр в разрыве каналов оператора; Management-интерфейсы байпаса и фильтра и лог-интерфейс фильтра выведены в сеть управления, к которой подключены VPN-шлюз, СПФС и СПХД._ -### Типовая схема ТСПУ +В таком варианте балансировщик не требуется, поскольку весь трафик обрабатывается одним фильтром. Ограничение: могут быть подключены только каналы **1 или 10 Гбит/с** Ethernet, так как фильтры проекта не имеют интерфейсов 100 Гбит/с — только 1G и 10G в зависимости от модели. -В типовой конфигурации присутствуют все компоненты: несколько байпасов (по количеству каналов оператора), один или несколько балансировщиков и множество фильтров. Балансировщик принимает трафик от всех байпасов, распределяет его по фильтрам для обработки, после чего обработанный трафик возвращается через балансировщик и байпас обратно в сеть оператора. +В типовой конфигурации, в отличие от простейшей, присутствуют все компоненты: байпасы по количеству каналов оператора, один или несколько балансировщиков и необходимое по объёму трафика число фильтров. Балансировщики принимают трафик от байпасов, распределяют его по фильтрам, а обработанный трафик возвращают через тот же байпас в тот же канал оператора. Типовая схема и прохождение трафика через все участки ТСПУ подробно рассмотрены в [разделе 2](02.md). ---