В рамках данной лабораторной работы мы расскажем как выполнить установку AiO-конфигурации Логикор, что для этого необходимо, как выполнить проверку работоспособности и ответим на наиболее часто встречающиеся вопросы. Длительность выполнения лабораторной работы — 2 часа.
Для того чтобы выполнить данную лабораторную работу, вам понадобится:
Дистрибутив системы должен иметь имя logiq_x.x.x-offline_amd64.deb, где x.x.x — номер версии.
Процесс установки системы подразумевает развертывание с помощью утилит Docker и Ansible. Все команды и скрипты выполняются с сервера, на котором будет развернута система. Такой вариант установки требует доступа к серверу по протоколу SSH. Рассмотрим процесс установки более подробно.
OpenSSH должен быть настроен на стандартный 22 порт.
Для настройки SSH-подключения необходимо выполнить следующие действия:
Шаг 1. Если для развертывания Логикор имеется потребность в использовании непривилегированного пользователя, отличного от root, то необходимо создать целевого SSH-пользователя, если этого не было сделано ранее. Для этого выполните следующие команды:
sudo useradd -m -s /usr/bin/bash -g users -G sudo <целевой_ssh_пользователь>
sudo groupadd <целевой_ssh_пользователь>
Шаг 2. Если целевой пользователь является непривилегированным, отличным от root, то необходимо добавить пользователя в sudo с отключением ввода пароля:
echo '<целевой_ssh_пользователь> ALL=(ALL) NOPASSWD: ALL' | sudo tee -a /etc/sudoers
Шаг 3. Выполните генерацию SSH-ключей под целевым пользователем, под которым будет запускаться развертывание Логикор:
su - <целевой_ssh_пользователь>
ssh-keygen -t rsa
Для установки Системы необходимо загрузить дистрибутив Логикор на сервер и затем распаковать. Для этого выполните следующие действия:
Шаг 1. Подключите USB-накопитель к устройству, с которого имеется доступ к серверу по протоколу SSH и загрузите дистрибутив на него:
scp <путь_к_оффлайн-сбоке_на_USB-накопителе> <целевой_ssh_пользователь>@<адрес_сервера>:/opt/logiq_<версия_Логикор>-offline_amd64.run
Шаг 2. Войдите в терминал управления сервера и выполните распаковку deb-пакета с помощью следующей команды:
sudo chmod +x /opt/logiq_<версия_Логикор>-offline_amd64.run
sudo /opt/logiq_<версия_Логикор>-offline_amd64.run
Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл.
В каталоге ./ansible/inventories/presets хранятся пресеты для различных конфигураций Логикор, которые можно использовать как есть для развертывания Логикор или для клонирования одного из пресетов с последующей перенастройкой Логикор под специфические условия и окружение:
В рамках данной лабораторной работы мы будем рассматривать установку с помощью пресета AIO-docker-offline.yml.
Все параметры устанавливаемой системы задаются в конфигурационном .yml-файле. Путь к конфигурационному файлу Логикор можно указать через флаг -f </conf/path>. Если параметр не указан, то по умолчанию используется путь /etc/logiq/config.yml.
Для того чтобы подготовить конфигурационный файл, выполните на сервере следующую команду находясь в каталоге, в который вы распаковали дистрибутив Логикор:
sudo cp /usr/share/logiq/ansible/inventories/presets/AIO-docker-offline.yml /etc/logiq/config.yml
При подготовке конфигурационного файла необходимо определить способ приема данных. Для этого в файле /etc/logiq/config.yml используется параметр use_apigw_proxy.
Пример настройки:
variables_overrides:
saturn:
config:
use_apigw_proxy: "false"
Если параметр saturn.config.use_apigw_proxy: "false", то в контейнере Saturn выполнится публикация внешних портов приема данных, а внешние порты apigw отключатся.
Ниже приведен пример структуры конфигурационного файла Логикор и значение параметров:
# Определение целевых хостов для Логикор. По умолчанию определяется только локальный хост `logiq-control`.
hosts: []
# Примеры:
#
# - name: "<имя целевого хоста>"
# address: "<IP|FQDN целевого хоста или переменная ansible>"
# connection: "<local|ssh|docker>" # Опциональный параметр с указанием типа подключения ansible на целевые хосты. Если не указать, то будет использоваться значение 'ssh'.
# user: "<ssh username>" # Обязательный параметр с указанием SSH-пользователя, если `connection: "ssh"`. Альтернатива параметру: задать переменную `ansible_user` в секции `variables_overrides` для всех хостов.
#
# - name: "logiq-control"
# address: "127.0.0.1"
# connection: "local"
# - name: "logiq-storage-01"
# address: "10.10.10.10"
# connection: "ssh"
# user: "root"
# Переопределение целевых хостов для конкретных компонентов Логикор. По умолчанию для всех компонентов используется локальный хост `logiq-control`.
# Список доступных компонентов: clickhouse, postgres, s3, apigw, cadvisor, aptly, registry, vault, portainer, mpsiem_rabbitmq, venus, earth, saturn, mercury, prometheus, grafana, openldap, mailhog
targets_overrides: {}
#
# Примеры:
#
# <наименование компонента>:
# hosts:
# - <значение параметра `name` целевого хоста из секции `hosts`>
#
# saturn:
# hosts:
# - example-logiq-collector-01
# - example-logiq-collector-02
# Переопределение переменных с параметрами развертывания Логикор и его компонентов. Перечень доступных параметров и их структуру можно посмотреть в /usr/share/logiq/ansible/inventories/defaults.yml
variables_overrides:
deployment_type: "docker-compose" # Обязательный параметр с указанием типа развертывания. Возможные значения: docker-compose, helm
offline_mode: "true"
init_aptly: "true"
use_repo_aptly: "true"
update_repo_sources_list: "false"
apigw:
config:
logiq_info_page_enable: "true"
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# mpsiem_rabbitmq:
# use_external_instance: "true"
mailhog:
use_external_instance: "true"
openldap:
use_external_instance: "true"
portainer:
use_external_instance: "true"
earth:
config:
app:
frontend_url: "http://localhost:5555" # Укажите FQDN\IP-адрес Логикор
clickhouse:
max_execution_time: 3600
max_concurrent_queries_for_user: 40
max_threads: 4
max_memory_usage_for_user: 17179869184 # Укажите 1/3 от RAM VM с кликхаусом в байтах
saturn:
config:
jvm_xms: "10g"
jvm_xmx: "24g" # укажите 1/3 от RAM VM с Сатурном
jvm_xss: "4M"
use_apigw_proxy: "false" # При значении "false" прием данных выполняется напрямую через внешние порты, без проксирования через apigw.
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# manual_set_endpoints:
# mpsiem_rabbitmq: "localhost" # Укажите адрес rabbitmq MaxPatrol SIEM
# vault:
# secret_data:
# saturn:
# mpsiem_rabbitmq_username: "siem" # можно удалить после первого деплоя
# mpsiem_rabbitmq_password: "CHANGEME" # можно удалить после первого деплоя
venus:
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# manual_set_endpoints:
# mpsiem_ptkb: "localhost" # Укажите адрес PTKB MaxPatrol SIEM
# vault:
# secret_data:
# venus:
# mpsiem_ptkb_username: "Administrator" # можно удалить после первого деплоя
# mpsiem_ptkb_password: "CHANGEME" # можно удалить после первого деплоя
В рамках данной лабораторной мы будем использовать стандартный конфигурационный файл без изменений его параметров. При необходимости вы можете поменять формат записи событий. Для этого необходимо установить его значение для параметра logiq_taxonomy в конфигурационном файле. Для отображения в формате MPSIEM установите значение "mpsiem" (значение по умолчанию), для формата JSON — "json".
Для того чтобы запустить процесс подготовки сервера к установке Логикор, выполните на нем следующую команду находясь в каталоге, в который вы распаковали дистрибутив Логикор:
logiq prepare-host
Установка Логикор должна быть запущена из каталога сборки. Для этого выполните следующую команду:
logiq deploy --components <список_сервисов_и/или_модулей>
logiq deploy --components all
logiq deploy --components vault,services
logiq deploy --components vault,s3,services,openldap,monitoring
Справка об использовании скрипта развертывания Логикор
Команды:
prepare-host Подготовить хосты и окружение к развертыванию или обновлению Логикор
Использование: logiq prepare-host [--ansible-tags <tag1,tag2,...>]
Опциональные параметры:
--ansible-tags <tag1,tag2,...> Указать теги для запуска определенных задач Ansible. Если параметр не указан, то по умолчанию указываются все доступные Ansible теги
Доступные Ansible теги:
security_disable,set_sysctl,init_aptly,os_packages_install,docker_install
deploy|uninstall Развернуть/обновить или удалить компоненты Логикор
Использование: logiq <deploy|uninstall> --components <module1,module2|service1,service2...>
Обязательные параметры:
--components <module1,module2|service1,service2...> Список модулей и/или сервисов для развертывания
ansible Прямой вызов ansible, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/logiq/config.yml
Использование: logiq ansible <ansible commands and flags>
ansible-playbook Прямой вызов ansible-playbook, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/logiq/config.yml
Использование: logiq ansible-playbook <ansible-playbook commands and flags>
get-config Вывести текущую полную конфигурацию Логикор
Использование: logiq get-config
get-example-conf Вывести пример конфигурационного файла Логикор
Использование: logiq get-example-conf
Вывести значение Vault Root Token:
Использование: logiq ansible-playbook ./ansible/playbooks/mgmt/get_hashi_vault_token.yml
Дополнительные флаги:
-f </conf/path> Путь к конфигурационному файлу Логикор. Если параметр не указан, то по умолчанию используется /etc/logiq/config.yml
--ansible-opts '<--param1 --param2 -P3>' Дополнительные параметры Ansible, например, '-diff --check --list-tasks --limit'
-h|--help|help Вывести эту справку
-v|--version|version Вывести версию Логикор
Список доступных модулей и сервисов Логикор:
registry: registry
tools: portainer,vault
storage: clickhouse,s3,postgres,mpsiem_rabbitmq
external: openldap,mailhog
services: earth,apigw,mercury,mars,saturn,venus
monitoring: prometheus,grafana,traefik,cadvisor,docket-proxy,script-exporter,saturn-metrics-exporter,php-fpm-exporter
Для выбора всех вышеперечисленных модулей укажите: all
Для того чтобы проверить успешность завершения установки Логикор, перейдите в веб-интерфейс управления системой. Он будет доступен по адресу https://<IP-адрес_сервера>:5555.
Учетные данные по умолчанию:
В обязательном параметре `--components` необходимо перечислить список модулей и/или сервисов Логикор, которые планируется развернуть, например, `logiq deploy --components <список_сервисов_и/или_модулей>` или `logiq uninstall --components <список_сервисов_и/или_модулей>`. Подробнее описано в справке `logiq --help`.
Подробный список модулей доступен при выполнении команды `logiq --help`.
Просмотрите файл stand.env, в нем можно указать какие версии сервисов использовать при развертывании Логикор.
Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл. В каталоге presets хранятся пресеты для различных конфигураций Логикор, которые можно использовать как есть для развертывания Логикор или для клонирования одного из пресеты с последующей перенастройкой Логикор под специфичные условия и окружение.
Для остановки работы служб используйте следующую команду:
`logiq uninstall --components <список_служб_и/или_модулей> -f <путь_к_конфигурационному_файлу_Логикор>`