Перейти к основному содержимому
Версия: v2.8.x

Общая архитектура

ПО Логикор представляет собой систему долговременного хранения и фильтрации событий информационной безопасности (далее — СДХ). Основное предназначение Системы — получение, обработка, сохранение, анализ и передача событий.

Архитектура решения:

Поступающие события сохраняются во внутренней базе данных в сжатом виде. Часть из них, в соответствии с автоматическими или ручными настройками, может быть отправлена во внешнюю систему, например в SIEM. Для событий, соответствующих настроенным фильтрам мониторинга, Логикор может отправлять уведомления во внешние системы.

Основные компоненты​

Hyperion​

Hyperion — специальный высокопроизводительный агент по сбору событий из различных источников и перенаправлению их в сервис обработки (Saturn).

Типы источников​

Агент поддерживает активный и пассивный сбор: он может обращаться к источникам за данными или принимать события, отправленные источниками. Поддерживаются источники типов TCP, UDP, Kafka и Hyperion. Перечень расширяется по мере развития агента.

Передача данных​

Для передачи событий используются две модели:

Возможна передача через несколько агентов, например Hyperion → Hyperion → Saturn. Типовой сценарий предполагает сбор событий от источников и их распределение между сервисами обработки.

Предобработка событий​

Встроенные средства предварительной обработки позволяют преобразовывать события и передавать дополнительные метаданные. Пользовательские преобразования задаются на языке VRL. Примеры такого сценария: агрегация событий auditd, сохранение имени топика Kafka и IP-адреса источника.

Saturn​

Saturn — сервис приема, обработки, фильтрации, сохранения и передачи событий во внешние системы, в том числе SIEM. Он основан на переработанном и оптимизированном Logstash и использует как готовые плагины, так и специализированные плагины, разработанные для Логикор.

Прием событий​

Способ получения событий предполагает использование Hyperion по модели pull. Saturn также может принимать события напрямую. Хотя для него существуют плагины активного сбора, обычно при прямом приеме используется пассивный сбор.

Нормализация событий​

Сервис преобразует события в соответствии с настроенными правилами. Это могут быть автоматически сконвертированные правила нормализации MP SIEM или пользовательские правила.

Сохранение событий​

События сохраняются в кластере слоя хранения ClickHouse в нормализованном виде вместе с исходными данными. Это позволяет анализировать их средствами Логикор.

Отправка событий​

Сервис Saturn позволяет настроить отправку событий во внешние системы заказчика. В рамках конфигурации можно задать один или несколько узлов внешней системы и автоматическое либо ручное распределение нагрузки между ними. В зависимости от получателя передаются исходные или нормализованные события. При интеграции с MP SIEM, как правило, передаются исходные события.

Для отправки доступны стандартные плагины, в том числе tcp, udp, rabbitmq, syslog, kafka, и специализированные плагины для интеграции с MP SIEM.

Фильтрация​

В сервисе Saturn могут быть сконфигурированы произвольные правила фильтрации событий, которые необходимо передать во внешние системы. Данные правила могут поступать в автоматическом режиме из правил корреляции MP SIEM в специальном сконвертированном виде. Их можно дополнять пользовательскими правилами в соответствии с требованиями.

Произвольная конфигурация​

Сервис Saturn имеет гибкую конфигурацию, его внутренние правила можно писать на разных языках — Logstash, Ruby, VRL и прочих.

ClickHouse​

СУБД ClickHouse выполняет роль высокопроизводительного аналитического хранилища всех событий, поступающих в Систему Логикор.

Репликация и шардирование​

В зависимости от потребностей в ClickHouse можно настроить шардирование, которое распределяет данные между частями кластера, и репликацию, которая создает копии данных для отказоустойчивости. Конфигурация зависит от требований к обработке и хранению событий.

TTL и сжатие​

Срок жизни данных (TTL) и параметры сжатия настраиваются с учетом требуемой глубины хранения и дискового пространства. Можно использовать разные системы и уровни хранения. Устройство хранилища описано в статье о ClickHouse.

Earth и Mars​

Сервисы Earth и Mars реализуют серверную часть Логикор и предоставляют REST API. Веб-интерфейс Mercury использует этот API для взаимодействия с Системой.

Через API доступны управление пользователями, аудит, просмотр и анализ событий, дашбордов, настройка правил обработки и работа с уведомлениями. API также позволяет интегрировать функционал Системы Логикор в другие решения.

При интеграции с MP SIEM сервис Mars автоматически конвертирует правила нормализации и корреляции и подготавливает обновленные правила для сервиса обработки событий Saturn.

Mercury​

Сервис Mercury выступает в качестве веб-интерфейса Системы Логикор для взаимодействия с пользователями.

Система мониторинга​

В Системе Логикор предусмотрены средства мониторинга, позволяющие отслеживать ключевые показатели и выявлять аномалии в ее работе. В частности, можно наблюдать за обновлением правил нормализации и фильтрации, изменением количества источников и объема поступающих событий.

Верхнеуровневая архитектура системы мониторинга выглядит следующим образом:

Prometheus и VictoriaMetrics​

Сервис Prometheus отвечает за сбор и хранение метрик, собираемых со всех сервисов и компонентов Системы Логикор. Благодаря механизму pull-запросов и гибкой системе уведомлений он обеспечивает оперативное выявление аномалий и своевременное оповещение администраторов.

В некоторых случаях вместо Prometheus используется сервис VictoriaMetrics, который предлагает аналогичный функционал по сбору и хранению метрик. Выбор зависит от среды развертывания Логикор.

Grafana​

Сервис Grafana обеспечивает отображение метрик в виде дашбордов, позволяющих отслеживать все критические показатели работы Системы Логикор. Дашборды и панели мониторинга объединяют данные из множества источников в едином интерфейсе.

Подробное описание компонентов Системы приведено в статье «Подробная архитектура»