СПОСОБЫ РЕШЕНИЯ ПРОБЛЕМ СОВРЕМЕННОГО ИНТЕРНЕТ-ПРОВАЙДИНГА

АННОТАЦИЯ

На сегодняшний день Интернет достиг небывалого уровня развития и распространения. Технологии постоянно развиваются, им нужны большие вычислительные мощности, большие скорости передачи данных и больше трудозатрат для скачка вперёд. Интернет создавался во времена, когда сложно было представить себе, что когда-нибудь у каждого человека будет несколько устройств, подключенных к нему, поэтому становятся видны недостатки IPv4 и необходимость перехода на IPv6. Также создатели Интернета не предполагали, что данный вид связи будет массово использоваться злоумышленниками, поэтому государствами всего мира принимаются меры по противодействию экстремизму за счёт установки DPI и сбора информации о фактах передачи данных. Отдельной киберугрозой являются DDoS атаки и взломы инфраструктуры. Для обнаружения и борьбы с данными видами угроз разработаны различные бесплатные и платные программные решения. Ещё одной трудностью интернет-провайдера является необходимость балансировки как исходящего, так и входящего интернет-трафика, чтобы не допустить перегрузок каналов. Для помощи в решении данной проблемы разработаны системы, собирающие статистику, а также осуществляющие анализ. Однако, подобные системы не могут принимать каких-либо решений, или выдавать рекомендации. Логичным было бы создание рекомендательной системы в составе систем мониторинга и инвентаризации таких как NOCProject.

Ключевые слова: IPv4, IPv6, NAT, DDOS, DPI, AS-Stat, Netflow, BGP, Машинное обучение.

Краткий обзор проблем современного Интернет-провайдера. Множество операторов связи имеют схожие проблемы. У кого-то их больше, у кого-то - меньше, поэтому выделим основные:

1. IPv4. IPv4 адрес представляет из себя 32-битное число [1]. То есть возможно всего‑лишь около 4.22 миллиарда возможных значений, поэтому с момента активного распространения сети Интернет существует проблема исчерпания IPv4 адресов. Дефицит IPv4 адресов приводит к ежегодному увеличению их стоимости для интернет-провайдеров, поэтому компаниями применяются различные способы по оптимизации использования своих диапазонов адресов.

2. CG-NAT. Первым и по сути единственным способом сократить использование IPv4 адресов является перевод абонентов за CG-NAT [2]. Заключается данный способ в том, что абонентам интернет-провайдера даются в аренду IPv4 адреса из специального диапазона частных адресов (называются «серыми»), а так называемые «реальные» или «белые» IPv4 адреса выдаются за отдельную плату только тем, кому они действительно необходимы (или просто готовы заплатить). Типичные задачи, для которых потребуется реальный IPv4 адрес: поднятие DNS, WEB, VPN, почтового сервера, а также использование протоколов, требующих прямого доступа и работающих не по TCP или UDP, таких как GRE или IPIP. Трафик абонентов с серыми IPv4 адресами пропускается через программно-аппаратный комплекс, осуществляющий трансляцию адресов (NAT-сервер). Технически, возможно помещать за один реальный адрес больше тысячи клиентов, но такое решение может привести к ограничениям со стороны различных WEB-сервисов, поскольку с одного IP адреса будет осуществляться множество запросов, что будет выглядеть как DOS атака. Поэтому провайдеры стараются помещать меньше сотни клиентов за один реальный адрес (Кроме разных исключительных случаев).

3. Вирусы и злоумышленники. В сети Интернет постоянно работает множество сканеров, открытых TCP и UDP портов [3]. При обнаружении открытого порта запускается подбор комбинации логин/пароль или применение уязвимости в ПО. Всё это делается чтобы сделать маршрутизаторы, компьютеры и сервера частью ботнета, или чтобы вымогать деньги. Ботнет создаётся в основном для организации различных DDOS атак, и, в последнее время, для «майнинга» криптовалюты. Также не стоит забывать про самый эффективный способ распространения вредоносного ПО — человеческая невнимательность. Пиратская версия Windows, неофициальный сайт производителя ПО, ссылки и файлы, пришедшие по почте — всё это может привести к заражению конечного устройства. Если атакуемый сервис находится под защитой какой-либо системы обнаружения подозрительной активности, то в автоматическом режиме владельцу IP адреса (Интернет-провайдеру) отсылается сообщение о подозрительной активности (abuse report). Очень легко реагировать на такие сообщения, когда у всех абонентов интернет-провайдера реальные IPv4 адреса. Один адрес — один абонент. Однако, реальность такова, что реальный IPv4 адрес нужен абоненту в очень редких случаях. Поэтому основная масса сообщений о подозрительной активности приходят на пулы адресов NAT-сервера. Для выявления таких заражённых устройств интернет-провайдеры могут хранить записи NAT-трансляций. А для обеспечения оперативно-розыскных мероприятий, согласно Федеральному закону от 07.07.2003 г. № 126-ФЗ, обязаны хранить не только NAT-трансляции, но и информацию о фактах передачи данных.

4. Попадание IP адресов в «чёрные списки» [4]. Из-за подозрительной активности со стороны абонентов, IP адреса интернет-провайдера регулярно вносятся в разные списки адресов для которых применяются ограничения. Иногда в такие списки вносятся целые автономные системы. Особенно проблемной является ситуация, когда в такой список попал лишь один адрес из целого пула NAT-адресов, поскольку такую ситуацию практически невозможно отследить и диагностировать. Извлекать адреса из чёрного списка может быть очень проблематично, особенно в текущей международной обстановке, поэтому это ведёт к ещё большему исчерпанию IPv4 адресов.

5. Необходимость балансировки входящего трафика между внешними каналами. Сеть Интернет разделена на автономные системы, к которым операторы привязывают IP адреса в региональном интернет-регистраторе. Маршрутизация между автономными системами осуществляется посредством протокола динамической маршрутизации BGP. Операторы берут в аренду каналы передачи данных у других операторов. Часто в разных объёмах, согласно экономической целесообразности. Балансировка исходящего трафика не является серьёзной проблемой, поскольку доступен обширный набор инструментов: от средств самого BGP до различных функций, которые реализовал производитель оборудования. К тому же для интернет-провайдера, который предоставляет услуги физическим лицам, исходящий трафик составляет примерно 15-20% от входящего. Всё потому что население преимущественно потребляет информацию, а не создаёт. А вот балансировка входящего трафика через каналы разной ёмкости является серьёзной проблемой, для решения которой нужно иметь представление о количестве трафика в маршрутизируемых блоках адресов. У сетевого инженера гарантированно есть три инструмента: личные связи с инженерами вышестоящего провайдера, средства протокола BGP и возможности, предоставляемые вышестоящим провайдером посредством bgp community (часть маршрутизации на основе политик). Гарантированно всегда доступны только средства протокола BGP. Сетевой инженер может использовать AS-PATH, BGP MED и выборочное анонсирование сетей (лишает смысла использование нескольких внешних каналов), чтобы повлиять на выбор лучшего пути на маршрутизаторах партнёров. Маршрутизаторы выбирают маршрут лучшим при минимальной длине AS-PATH, при условии, что локально не настроены более сильные атрибуты для конкретного производителя. Соответственно, операторы используют технологию AS-PATH prepend для «удлинения» маршрутов. В маршрутизации между автономными системами для того, чтобы не перегружать таблицы маршрутизации оборудования, принято правило, что сети меньше чем 256 адресов (или же /24 в CIDR нотации) не являются маршрутизируемыми. Поэтому операторы при использовании NAT должны соответствующим образом распределять абонентов по своим сетям.

Краткий обзор статистики киберугроз. Количество инцидентов в 2022 году увеличилось на 20.8% по сравнению с 2021, согласно данным Positive Technologies [5]. И большая часть успешных атак была целенаправленной. Связано это с напряжённой международной обстановкой.

Основной рост атак был в отношении СМИ, транспортных компаний, госучреждений, торговли.

По данным «Ростелеком-Солар», большую часть атак составили DDoS-атаки — 79% [6].

Наибольшее количество DDoS атак в 2022 году пришлось на май. Из них самая мощная атака была более 760 Гбит/c, что в 2 раза превышает самую мощную атаку в 2021 году.

В 2023 году количество атак на российские компании выросло в среднем на 20% по сравнению с 2022 годом, согласно данным Positive Technologies [7].

Большая часть атак была проведена так называемыми «хактивистами» для достижения политических целей.

Возможное решение проблемы дефицита IPv4 и NAT. Для решения проблемы дефицита IPv4 и необходимости наличия NAT может послужить внедрение IPv6 [8]. Данная версия IP подразумевает IP-адреса длиной 128 бит. Соответственно, существует примерно 3.4E+38 возможных значений, что на данный момент времени полностью исключает нехватку IP адресов.

По данным Google [9], запросы к сервисам по IPv6 в 2023 году составило около 40% от общего количества, причём каждый год их количество неуклонно растёт. Что говорит о работоспособности данного решения. График распространения IPv6 представлен на Рисунке 1.

Рисунок 1. Рост использования IPv6 за 2008-2023 гг.

Также внедрение IPv6 позволит упростить проведение оперативно-розыскных мероприятий, а также ускорить реакцию на неправомерное использование сети Интернет.

Аналогичным образом попадание в чёрные списки решается простой сменой IP адреса.

Однако, есть и обратная сторона внедрения IPv6. На данный момент всё ещё находится в работе множество оборудования, которое не поддерживает IPv6 или поддерживает не полностью, что тормозит внедрение.

Также использование IPv6 для конечного пользователя подразумевает обязательное использование statefull firewall, поскольку все устройства в IPv6 доступны по IP адресу без использования разных ухищрений, которые были созданы в IPv4 (NAT, проброс портов). Неиспользование сетевых экранов в IPv6 потенциально приведёт к росту количества взломов конечного оборудования и, как следствие, увеличения числа кибератак. Любые современные маршрутизаторы для пользователей имеют такую функцию.

Возможное решение для борьбы с неправомерным использованием сети.

На данный момент для обнаружения подозрительной активности используются разнообразные системы анализа трафика, которые принципиально отличаются друг от друга по принципам работы.

Самый простой способ — собирать информацию о фактах передачи данных — Netflow. Для уменьшения объёма данных можно применять семплирование.

В дальнейшем, собранные данные анализируются специальными утилитами и принимается решение о том, есть DDoS или нет. В основном, принимается во внимание количество пакетов в секунду, поскольку в случае DDoS на определённый IP, данный параметр сильно выделяется на общем фоне. Подобных систем существует великое множество: от простых самописных [10] до более сложных, которые предоставляют соответствующие компании за отдельную плату [11].

Однако, каждая такая система обладает одним важным параметром — вероятность ложноположительных срабатываний. Поэтому данная тема издавна является предметом научных изысканий с целью увеличить точность определения атак, а также увеличения количества типов обнаруживаемых атак, потому что кроме DDoS существуют технически более сложные подходы для нарушения функционирования сервиса [12, 13, 14].

Существуют также программно-аппаратные комплексы, которые выполняют обнаружение аномалий и защиту от них в реальном времени. Данные комплексы преимущественно используют технологию DPI. Типичным примером DPI является система контроля и анализа трафика (СКАТ) от отечественного производителя VasExperts [15]. Многие DPI системы созданы с использование технологий машинного обучения для отслеживания различных паттернов передачи данных. Данный метод, например, широко используется для обнаружения и последующей блокировки VPN протоколов.

Решения для облегчения балансировки входящего трафика.

Netflow может использоваться не только для обнаружения сетевых аномалий. Ещё одним популярным направлением использования этих данных является построение различных графиков потребления трафика. Достаточно популярным бесплатным решением является AS-Stats [16] и NfSen [17]. Также существуют решения от крупных компаний, например, от Solarwinds [18].

Хоть данные системы и помогают принимать решения о перераспределении трафика, но они ничего не знают о структуре сети провайдера и не могут давать советы по оптимальному распределению трафика. Поэтому было бы полезным иметь так называемого «помощника системного администратора», который был бы интегрирован в какую-либо систему мониторинга и управления сетью. Отличным примером такой системы является NOCProject, разрабатываемый российской IT-компанией. Данная система обладает отличными возможностями по расширению благодаря использованию микросервисной архитектуры, а также хорошей масштабируемостью.

Основные требования к «помощнику системного администратора»:

1. Получать данные о фактах передачи данных по протоколу Netflow V9 или IPFIX.

2. Получать данные о загрузке внешних каналов.

3. По данным Netflow определять объёмы трафика в блоках, маршрутизируемых IP адресов.

4. По данным Netflow определять откуда и куда летит трафик на внешних каналах.

5. На основе полученных данных выдавать рекомендации по перестройке маршрутизации.

6. Прогнозировать потребление трафика в будущем, чтобы можно было вовремя дозаказывать объёмы у вышестоящих провайдеров, поскольку потребление трафика изменяется в зависимости от времени года и времени суток.

7. Также, опционально, детекция аномалий. В частности, сканирование сети и DDoS.

Данная система может быть создана с использованием технологий машинного обучения, поскольку присутствует задача предсказания, а также классификации.

Выводы.

Отрасль связи постоянно развивается, появляются новые технологии, совершенствуются старые, постоянно решаются возникающие проблемы. Одна из таких проблем — люди, использующие сеть Интернет для того, чтобы вредить другим людям. Поэтому инженерами были придуманы различные средства для обнаружения и предотвращения самых массовых и типичных случаев неправомерного использования, которые и были рассмотрены в данной статье.

Вместе с тем были рассмотрены другие проблемы и вызовы, стоящие перед современными провайдерами, такие как исчерпание IPv4, использование NAT, переход на IPv6, длящийся уже не одно десятилетие и претерпевший массу изменений.

Также предложена концепция «помощника системного администратора», который бы давал советы по оптимальному распределению нагрузки между внешними каналами для повышения качества обслуживания и увеличении прибыльности данного бизнеса.

В решении многих проблем могут помочь стремительно развивающиеся технологии машинного обучения.

Список литературы:

1. RFC: 791 : [Электронный ресурс] / IETF  | Internet Engineering Task Force : [Сайт]. - URL: https://www.ietf.org/rfc/rfc791.txt (Дата обращения: 04.09.2023). – Текст: Электронный.
2. CG-NAT — зачем нужен и как начать пользоваться : [Электронный ресурс] / vasexperts : [Сайт]. - URL: https://vasexperts.ru/blog/cg-nat/cg-nat-zachem-nuzhen-i-kak-nachat-polzovatsya/ (Дата обращения: 04.09.2023). – Текст: Электронный.
3. Решаем нехватку адресов с помощью CGNAT : [Электронный ресурс] / habr : [Сайт]. - URL: https://habr.com/ru/articles/759952/ (Дата обращения: 04.09.2023). – Текст: Электронный.
4. IP Blacklist : [Электронный ресурс] / anticlickfraud : [Сайт]. - URL: https://anticlickfraud.eu.org/ip-blacklist/ (Дата обращения: 04.09.2023). – Текст: Электронный.
5. Актуальные киберугрозы: итоги 2022 года. : [Электронный ресурс] / ptsecurity : [Сайт]. – URL: https://www.ptsecurity.com/ru-ru/research/analytics/cybersecurity-threatscape-2022/ (Дата обращения: 04.09.2023). – Текст: Электронный.
6. Отчет об атаках на онлайн-ресурсы российских компаний за 2022. : [Электронный ресурс] / rt-solar : [Сайт]. – URL: https://rt-solar.ru/upload/iblock/34a/5w4h9o57axovdbv3ng7givrz271ykir3/Ataki-na-onlayn_resursy-rossiyskikh-kompaniy-v-2022-godu.pdf (Дата обращения: 04.09.2023). – Текст: Электронный.
7. Число кибератак в России и в мире. : [Электронный ресурс] / tadviser : [Сайт]. – URL: https://www.tadviser.ru/index.php/Статья:Число_кибератак_в_России_и_в_мире (Дата обращения: 04.09.2023). – Текст: Электронный.
8. RFC: 2460 : [Электронный ресурс] / IETF  | Internet Engineering Task Force : [Сайт]. - URL: https://www.ietf.org/rfc/rfc2460.txt (Дата обращения: 04.09.2023). – Текст: Электронный.
9. IPv6 — Google. : [Электронный ресурс] / google : [Сайт]. – URL: https://www.google.com/intl/en/ipv6/statistics.html (Дата обращения: 04.09.2023). – Текст: Электронный.
10. GitHub - owenear/ddos-detect: DDoS detection tool based on a netflow data. : [Электронный ресурс] / github : [Сайт]. – URL: https://github.com/owenear/ddos-detect (Дата обращения: 05.09.2023). – Текст: Электронный.
11. Обнаружение сетевых аномалий (NAD). : [Электронный ресурс] / evraas : [Сайт]. – URL: https://www.evraas.ru/solutions/nad/ (Дата обращения: 05.09.2023). – Текст: Электронный.
12. Обнаружение DDos-атак при помощи AI. : [Электронный ресурс] / pythonist : [Сайт]. – URL: https://pythonist.ru/obnaruzhenie-ddos-atak-pri-pomoshhi-ai/ (Дата обращения: 05.09.2023). – Текст: Электронный.
13. Машинно-синестетический подход к обнаружению сетевых DdoS-атак. : [Электронный ресурс] / habr : [Сайт]. – URL: https://habr.com/ru/companies/otus/articles/440210/ (Дата обращения: 04.09.2023). – Текст: Электронный.
14. РАЗРАБОТКА СИСТЕМЫ ОБНАРУЖЕНИЯ АНОМАЛИЙ СЕТЕВОГО ТРАФИКА. :  [Электронный ресурс] / cyberleninka : [Сайт]. – URL: https://cyberleninka.ru/article/n/razrabotka-sistemy-obnaruzheniya-anomaliy-setevogo-trafika/viewer (Дата обращения: 06.09.2023). – Текст: Электронный.
15. Система контроля и анализа сетевого трафика (СКАТ) и Deep Packet Inspection — VAS Experts. : [Электронный ресурс] / vasexperts : [Сайт]. – URL: https://vasexperts.ru/products/skat/ (Дата обращения: 06.09.2023). – Текст: Электронный.
16. GitHub - manuelkasper/AS-Stats: A simple tool to generate per-AS traffic graphs from NetFlow/sFlow records. : [Электронный ресурс] / github : [Сайт]. – URL: https://github.com/manuelkasper/AS-Stats (Дата обращения: 06.09.2023). – Текст: Электронный.
17. NfSen. : [Электронный ресурс] / nfsen : [Сайт]. – URL: https://nfsen.sourceforge.net/ (Дата обращения: 06.09.2023). – Текст: Электронный.
18. NetFlow Analyzer – NetFlow Analysis Tool | SolarWinds. : [Электронный ресурс] / solarwinds : [Сайт]. – URL: https://www.solarwinds.com/free-tools/real-time-netflow-analyzer (Дата обращения: 06.09.2023). – Текст: Электронный.