ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ В МОНИТОРИНГЕ ИНФОРМАЦИОННЫХ СИСТЕМ И ИХ ИНТЕГРАЦИЯ В ИНСТРУМЕНТЫ СБОРА МЕТРИК

THE USE OF ARTIFICIAL NEURAL NETWORKS IN MONITORING INFORMATION SYSTEMS AND THEIR INTEGRATION INTO METRIC COLLECTION TOOLS

Anton Makotra

Student, Department of Innovation and Integrated Quality Systems, St. Petersburg State University of Aerospace Instrumentation,

Russian Federation, St. Petersburg

АННОТАЦИЯ

Мониторинг информационных систем играет ключевую роль в обеспечении бесперебойной работы и устойчивости инфраструктуры. Современные технологии позволяют использовать искусственный интеллект для анализа больших объемов данных и прогнозирования возможных сбоев. В этой статье рассматриваются практические аспекты применения искусственных нейронных сетей в мониторинге информационных систем и их интеграция в популярные инструменты сбора метрик, такие как Grafana и Prometheus. Описаны конкретные примеры использования ИНС для автоматического обнаружения аномалий, предсказания отказов и оптимизации производительности.

ABSTRACT

Monitoring of information systems plays a key role in ensuring the smooth operation and sustainability of the infrastructure. Modern technologies allow the use of artificial intelligence to analyze large amounts of data and predict possible failures. This article discusses the practical aspects of using artificial neural networks in monitoring information systems and their integration into popular metric collection tools such as Grafana and Prometheus. Specific examples of using the INS for automatic anomaly detection, failure prediction, and performance optimization are described

Ключевые слова: искусственный интеллект, мониторинг информационных систем, сбор метрик, Grafana, Prometheus, аномалия

Keywords: artificial intelligence, monitoring of information systems, collection of metrics, Grafana, Prometheus, anomaly

С развитием технологий и увеличением объемов данных, обрабатываемых информационными системами (ИС), возрастает необходимость в эффективных методах мониторинга и анализа этих систем. Искусственные нейронные сети (ИНС) предлагают мощные инструменты для обработки больших объемов данных, выявления закономерностей и предсказания будущих событий. В данной статье рассматриваются способы применения ИНС в мониторинге ИС, а также их интеграция с популярными инструментами сбора метрик, такими как Grafana и Prometheus.

Одним из основных направлений использования ИНС в мониторинге ИС является обнаружение аномалий. Нейронные сети могут анализировать поток данных и выявлять отклонения от нормального поведения системы. Например, в системе «Web-Консолидация» была разработана программа, использующая ИНС для прогнозирования отказов на основе анализа метрик [3].

В одном из проектов была реализована модель, использующая рекуррентные нейронные сети (РНС) для анализа временных рядов метрик производительности серверов [1]. Модель обучалась на данных о загрузке процессора, использовании памяти и сетевом трафике, что позволяло выявлять аномалии в реальном времени. Это решение значительно сократило время реакции на инциденты и повысило общую надежность системы.

Прогнозирование отказов

Прогнозирование отказов является критически важной задачей для обеспечения надежности ИС. Использование ИНС позволяет не только обнаруживать текущие аномалии, но и предсказывать будущие сбои. Исследования показывают, что нейронные сети могут эффективно обрабатывать большие объемы данных и выявлять закономерности, которые могут предшествовать сбоям.

Модели прогнозирования

Для прогнозирования отказов можно использовать различные архитектуры нейронных сетей, такие как многослойные перцептроны (MLP) или рекуррентные нейронные сети (RNN). Например, RNN могут быть особенно полезны для обработки последовательностей данных, таких как временные ряды метрик производительности. [2]

Интеграция с инструментами сбора метрик

Grafana и Prometheus являются популярными инструментами для визуализации и сбора метрик. Prometheus обеспечивает сбор метрик из различных источников, а Grafana предоставляет мощные средства для их визуализации. Интеграция ИНС с этими инструментами позволяет значительно улучшить процесс мониторинга.

Prometheus использует модель временных рядов для хранения метрик и может собирать данные о производительности системы из различных источников. Он поддерживает множество экспортеров, которые позволяют интегрировать данные из различных приложений и сервисов.

Например, можно настроить Prometheus на сбор метрик CPU, памяти и сетевого трафика с помощью экспортеров Node Exporter или cAdvisor для контейнеризованных приложений. Эти данные затем могут быть переданы в нейронную сеть для анализа.

После того как данные были обработаны нейронной сетью, результаты могут быть визуализированы в Grafana. Это позволяет администраторам быстро оценивать состояние системы и принимать решения на основе полученных прогнозов.

Визуализация данных

Grafana предоставляет возможность создавать дашборды с различными графиками и диаграммами, которые отображают как текущие значения метрик, так и предсказанные значения на основе анализа нейронной сети. Например, график может показывать не только текущую загрузку процессора, но и предсказания о том, как она изменится в ближайшие часы. ( Grafana dashboards | Grafana Labs https://grafana.com/grafana/dashboards/ )(дата обращения 15.12.2024)

Реализация системы безопасности

Система может использовать данные о входах пользователей, их действиях в системе и частоте запросов к ресурсам для обучения модели ИНС. После обучения модель может автоматически сигнализировать о подозрительных действиях или блокировать доступ к ресурсам при выявлении аномалий.

Использование ИНС также актуально в области мониторинга безопасности ИС. Традиционные системы обнаружения атак часто полагаются на сигнатуры известных угроз, что делает их уязвимыми к новым атакам.[5]

В отличие от них, нейронные сети могут адаптироваться к новым типам атак благодаря своей способности к обучению на основе больших объемов данных. Это позволяет создавать более надежные системы защиты от вторжений (IDS), которые могут выявлять новые угрозы без необходимости постоянного обновления сигнатур. [4]

Перспективы развития

С учетом быстрого развития технологий искусственного интеллекта и увеличения объемов данных можно ожидать дальнейшего расширения применения ИНС в мониторинге информационных систем:

• Автоматизация процессов: Системы на базе ИНС смогут не только обнаруживать проблемы, но и автоматически инициировать процессы устранения неисправностей.
• Интеграция с IoT: С учетом роста числа устройств Интернета вещей (IoT), интеграция ИНС с данными от этих устройств станет важным направлением для повышения эффективности мониторинга.
• Улучшение пользовательского опыта: Анализ пользовательских действий с помощью ИНС позволит создавать более персонализированные интерфейсы и улучшать взаимодействие пользователей с системами.

Список литературы:

1. Кочеткова А.С. Применение нейронных сетей для мониторинга безопасности информационных систем // ВЕСТНИК ВОЛГОГРАДСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА. 2007. С. 163- 167.
2.  Семен Устинов. Основы мониторинга (обзор Prometheus и Grafana) https://habr.com/ru/articles/709204/ (2023)
3. Белинский Никита. Ищем аномалии и предсказываем сбои с помощью нейросетей. URL:https://habr.com/ru/companies/krista/articles/478392 (2019).
4. Г. И. Коршунов, А. Ю. Туманов, Е. А. Фролова, А. В. Макотра, В. Д. Непомнящий  Обеспечение качества мониторинга важных объектов для управления устойчивостью промышленного предприятия к поражающим воздействиям с применением рекуррентной нейронной сети. ВЕСТНИК СПГУТД. Серия 4. 2’2024  С.101 – 110. https://elibrary.ru/item.asp?id=73159617
5. Котенко И.В., Саенко И.Б., Аль-Барри М.Х. Применение искусственных нейронных сетей для выявления аномального поведения пользователей центров обработки данных - Вопросы кибербезопасности. 2022. № 2(48) Стр. 87-97.