Установка AiO-инсталляции Логикор с помощью Ansible
В рамках данной лабораторной работы мы расскажем, как выполнить установку AiO-конфигурации Логикор, что для этого необходимо, как выполнить проверку работоспособности и ответим на наиболее часто встречающиеся вопросы. Длительность выполнения лабораторной работы — 2 часа.
Требования к серверам для выполнения установки
Для того чтобы выполнить данную лабораторную работу, вам понадобится:
- 1 виртуальная машина под управлением ОС Astra Linux Special Edition не ниже версии 1.7.5;
- загруженный дистрибутив системы долговременного хранения данных Логикор.
Дистрибутив Системы должен иметь имя logicore_x.x.x-offline_amd64.run, где x.x.x — номер версии.
Требования к аппаратным ресурсам сервера (количество ядер, объем оперативной памяти и дискового пространства) зависят от предполагаемой нагрузки и приведены в статье Логикор. Аппаратные требования — для AiO-развертывания смотрите раздел «Аппаратные требования для пилотных внедрений».
Подготовка серверов
На каждом сервере должна быть выполнена интеграция с корпоративным NTP-сервером.
Процесс установки Системы подразумевает развертывание с помощью утилит Docker и Ansible. Все команды и скрипты выполняются с сервера, на котором будет развернута Система. Рассмотрим процесс установки более подробно.
Настройка SSH-подключения
OpenSSH должен быть настроен на стандартный 22 порт.
Для настройки SSH-подключения необходимо выполнить следующие действия:
Шаг 1. Если для развертывания Логикор имеется потребность в использовании непривилегированного пользователя, отличного от root, то необходимо создать целевого SSH-пользователя, если этого не было сделано ранее. Для этого выполните следующие команды:
sudo useradd -m -s /usr/bin/bash -g users -G sudo <целевой_ssh_пользователь>
sudo groupadd <целевой_ssh_пользователь>
Шаг 2. Если целевой пользователь является непривилегированным, отличным от root, то необходимо добавить пользователя в sudo с отключением ввода пароля:
echo '<целевой_ssh_пользователь> ALL=(ALL) NOPASSWD: ALL' | sudo tee -a /etc/sudoers
Шаг 3. Выполните генерацию SSH-ключей под целевым пользователем, под которым будет запускаться развертывание Логикор:
su - <целевой_ssh_пользователь>
ssh-keygen -t rsa
Перенос дистрибутива Логикор для установки
Для установки Системы необходимо загрузить дистрибутив Логикор на сервер и затем распаковать. Для этого выполните следующие действия:
Шаг 1. Подключите USB-накопитель к устройству, с которого доступен сервер по SSH, и скопируйте дистрибутив на сервер:
scp <путь_к_офлайн-сборке_на_USB-накопителе> <целевой_ssh_пользователь>@<адрес_сервера>:/opt/logicore_<версия_Логикор>-offline_amd64.run
Шаг 2. Войдите в терминал управления сервера и выполните распаковку офлайн-дистрибутива с помощью следующих команд:
sudo chmod +x /opt/logicore_<версия_Логикор>-offline_amd64.run
sudo /opt/logicore_<версия_Логикор>-offline_amd64.run
Подготовка конфигурационного файла Логикор
Общая информация
Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл.
В каталоге /usr/share/lctl/ansible/inventories/presets хранятся пресеты для различных конфигураций Логикор, которые можно использовать как есть для развертывания Логикор или для клонирования одного из пресетов с последующей перенастройкой Логикор под специфические условия и окружение:
AIO-docker-offline.yml— All-in-One-конфигурация для оффлайн-развертывания Логикор через Docker Compose локально на одном сервере;prod-docker-offline.yml— продуктовая конфигурация для оффлайн-развертывания Логикор через Docker Compose с использованием внешних хранилищ (PostgreSQL и S3), ClickHouse и ClickHouse Keeper разворачиваются на bare-metal серверах;AIO-helm-offline.yml— All-in-One-конфигурация для оффлайн-развертывания Логикор через Helm Chart в кластере K8s;prod-helm-offline.yml— продуктовая конфигурация для оффлайн-развертывания Логикор через Helm Chart в кластере K8s с использованием внешних хранилищ (PostgreSQL и S3), ClickHouse и ClickHouse Keeper разворачиваются на bare-metal серверах.
В рамках данной лабораторной работы мы будем рассматривать установку с помощью пресета AIO-docker-offline.yml.
Путь к конфигурационному файлу
Все параметры устанавливаемой Системы задаются в конфигурационном .yml-файле. Путь к конфигурационному файлу Логикор можно указать через флаг -f </conf/path>. Если параметр не указан, то по умолчанию используется путь /etc/lctl/config.yml.
Процесс подготовки конфигурационного файла
Для того чтобы подготовить конфигурационный файл, выполните на сервере следующую команду:
sudo cp /usr/share/lctl/ansible/inventories/presets/AIO-docker-offline.yml /etc/lctl/config.yml
Настройка приема данных
При подготовке конфигурационного файла необходимо определить способ приема данных. Для этого в файле /etc/lctl/config.yml используется параметр use_apigw_proxy.
Пример настройки:
variables_overrides:
saturn:
config:
use_apigw_proxy: "false"
Если параметр saturn.config.use_apigw_proxy: "false", то в контейнере Saturn выполнится публикация внешних портов приема данных, а внешние порты apigw и проксирование к Saturn отключатся.
Если Saturn и apigw уже были развернуты, то после активации saturn.config.use_apigw_proxy: "false" необходимо переразвернуть и apigw (в первую очередь) и Saturn, иначе контейнер Saturn не сможет развернуться из-за конфликта внешних портов с apigw.
Переопределение переменных Ansible
Все переменные Ansible со значениями по умолчанию находятся во внутреннем файле /usr/share/lctl/ansible/inventories/defaults.yml. При необходимости любое из этих значений можно переопределить во внешнем конфигурационном файле /etc/lctl/config.yml.
Глобальное переопределение выполняется через секцию variables_overrides:
variables_overrides:
deployment_type: "docker-compose"
offline_mode: "true"
init_aptly: "true"
use_repo_aptly: "true"
apigw:
config:
product_info_page_enable: "true"
mpsiem_rabbitmq:
use_external_instance: "true"
Также при необходимости можно выполнить переопределение значения переменной на уровне конкретного хоста/хостов через секцию hosts. Такое переопределение имеет более высокий приоритет, чем в секции variables_overrides.
hosts:
- name: control-node
address: 127.0.0.1
connection: local
- name: saturn1
address: 10.10.10.10
user: administrator
connection: ssh
docker_rootless: "false"
- name: "click1-1"
address: "10.10.10.11"
connection: "ssh"
user: "administrator"
deployment_type: "bare-metal"
clickhouse_shard_id: "shard-01"
clickhouse_replica_id: "replica-01-01"
variables_overrides:
docker_rootless: "true"
deployment_type: "docker-compose"
Файл defaults.yml также можно использовать как справочник — в нем перечислены все доступные параметры и настройки продукта Логикор, а также показана структура вложенности YAML.
Важно строго придерживаться этой структуры при переопределении параметров: если нарушить вложенность или формат, изменения не будут применены.
Пример конфигурационного файла
Ниже приведено содержимое пресета AIO-docker-offline.yml, который в рамках данной лабораторной работы копируется в конфигурационный файл Логикор /etc/lctl/config.yml (значение docker_host_ip_address подставляется автоматически — это IP-адрес сервера, на котором выполняется развертывание):
hosts:
- name: "control-node"
address: "{{ docker_host_ip_address }}"
connection: local
targets_overrides: {}
variables_overrides:
# Product common
deployment_type: "docker-compose"
offline_mode: "true"
init_aptly: "true"
use_repo_aptly: "true"
# apigw secrets and configuration
apigw:
config:
product_info_page_enable: "true"
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# saturn:
# manual_set_endpoints:
# mpsiem_rabbitmq: "localhost" # Укажите адрес rabbitmq MaxPatrol SIEM
# vault:
# secret_data:
# saturn:
# mpsiem_rabbitmq_username: "siem" # можно удалить после первого деплоя
# mpsiem_rabbitmq_password: "CHANGEME" # можно удалить после первого деплоя
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# venus:
# manual_set_endpoints:
# mpsiem_ptkb: "localhost" # Укажите адрес PTKB MaxPatrol SIEM
# vault:
# secret_data:
# venus:
# mpsiem_ptkb_username: "Administrator" # можно удалить после первого деплоя
# mpsiem_ptkb_password: "CHANGEME" # можно удалить после первого деплоя
# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# Важно! Укажите адрес PTKB MaxPatrol SIEM: при значении по умолчанию (127.0.0.1) конвертация правил в сервисе mars-worker работать не будет.
# mars:
# config:
# mpsiem_ptkb:
# hostname: "localhost" # Укажите адрес PTKB MaxPatrol SIEM
# #scheme: "https"
# #ms_port: 3334
# #kb_port: 8091
# #timeout: "300s"
# #skip_tls_verify: "true"
# vault:
# secret_data:
# mars:
# mpsiem_ptkb_username: "Administrator" # можно удалить после первого деплоя
# mpsiem_ptkb_password: "CHANGEME" # можно удалить после первого деплоя
В рамках данной лабораторной работы используется стандартный конфигурационный файл без изменения параметров. При необходимости перед развертыванием можно выбрать другой формат записи событий. Для этого задайте значение параметра taxonomy_format:
"mpsiem"— формат MP SIEM, используется по умолчанию;"json"— формат JSON.
Переключение режима записи событий (значение параметра taxonomy_format) после развертывания стенда недопустимо.
Пример переопределения временных каталогов Ansible
Во время распаковки крупных архивов (например, aptly или registry) Ansible использует временные каталоги, в которых должно быть достаточно свободного места. Каталог на целевых хостах задается параметром remote_tmp (в дистрибутиве — remote_tmp = /tmp/.ansible-${USER}/tmp в файле /usr/share/lctl/ansible/cfg/ansible.cfg), каталог на управляющем хосте — параметром local_tmp (по умолчанию ~/.ansible/tmp).
Если раздел /tmp имеет недостаточный размер (например, менее 10 ГБ), могут возникать ошибки при выполнении Ansible-задач, связанных с распаковкой крупных архивов. В этом случае переопределите используемые каталоги перед запуском lctl с помощью переменных окружения ANSIBLE_REMOTE_TMP и ANSIBLE_LOCAL_TEMP:
sudo mkdir -p /opt/.ansible/tmp && sudo chown -R ${USER}:${USER} /opt/.ansible
export ANSIBLE_REMOTE_TMP="/opt/.ansible/tmp"
export ANSIBLE_LOCAL_TEMP="/opt/.ansible/tmp"
Важно, чтобы каталоги существовали, а пользователь, под которым запускается Ansible, имел доступ на всех целевых хостах, перечисленных в блоке hosts в /etc/lctl/config.yml, включая control-node.
Запуск процесса подготовки сервера к установке Логикор
Для того чтобы запустить процесс подготовки сервера к установке Логикор, выполните на нем следующую команду:
lctl prepare-host
Помимо подготовки хостов команда lctl prepare-host устанавливает bash-автодополнение для lctl: в новом терминале после ее выполнения заработает автодополнение команд и компонентов (например, lctl up ea + Tab → earth).
Процесс установки Логикор
Для того чтобы запустить процесс установки Логикор, выполните следующую команду:
lctl up
Справка об использовании скрипта развертывания Логикор
Справка об использовании скрипта развертывания LogICore
Команды:
prepare-host Подготовить хосты и окружение к развертыванию или обновлению LogICore
Использование: lctl prepare-host [--ansible-tags <tag1,tag2,...>]
Опциональные параметры:
--ansible-tags <tag1,tag2,...> Указать теги для запуска определенных задач Ansible. Если параметр не указан, то по умолчанию указываются все доступные Ansible теги
Доступные Ansible теги:
security_disable,set_sysctl,init_aptly,os_packages_install,docker_install,hosts_file
deploy|uninstall Развернуть/обновить или удалить компоненты LogICore
Использование: lctl <deploy|uninstall> <module|service>… [-f </conf/path>]
Пример: lctl deploy earth,venus | lctl uninstall --components all
up|down Короткие алиасы: up = deploy, down = uninstall
Использование: lctl up <module|service>… [-f </conf/path>]
lctl down <module|service>… [-f </conf/path>]
Пример: lctl up earth mars | lctl up (без списка = все компоненты)
ls Список доступных модулей и сервисов
Список компонентов — один и тот же для deploy|uninstall|up|down, предпочтителен следующий формат:
lctl up earth mars
Разделители — запятая и/или пробел, регистр не важен, дубли отбрасываются; all — все модули.
Совместимый формат: --components earth,mars.
generate-helm-charts Сгенерировать Helm-чарты из Ansible-шаблонов без деплоя в Kubernetes
Использование: lctl generate-helm-charts [-f </conf/path>]
Результат: готовые чарты (values.yaml, files/, Chart.yaml, templates/) для ручного развертывания через helm
Документация: /usr/share/lctl/docs/vanilla-k8s/manual-deployment-in-k8s.md
ansible Прямой вызов ansible, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/lctl/config.yml
Использование: lctl ansible <ansible commands and flags>
ansible-playbook Прямой вызов ansible-playbook, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/lctl/config.yml
Использование: lctl ansible-playbook <ansible-playbook commands and flags>
get-config Вывести текущую полную конфигурацию LogICore
Использование: lctl get-config
get-example-conf Вывести пример конфигурационного файла LogICore
Использование: lctl get-example-conf
completion [bash|install] Автодополнение bash (самообновляемое)
Установка (один раз): lctl completion install # стаб в /etc/bash_completion.d (нужен sudo)
lctl completion install --user # без sudo, только своему пользователю (~/.bashrc)
Стаб генерирует дополнение из установленного lctl при старте шелла — файл не отстаёт от версии lctl.
На стенде ставится автоматически при 'lctl prepare-host'.
Новые терминалы подхватывают его сами; в текущем: source /etc/bash_completion.d/lctl (или exec bash).
Печать самого скрипта (просмотр/ручная установка): lctl completion bash
Работает и при запуске по пути (./bin/lctl): спеку bash ищет по имени команды, компоненты берутся из набранного бинарника.
Проверка: набрать 'lctl up ea' и нажать Tab — подставится 'earth'.
Вывести значение Vault Root Token:
Использование: lctl ansible-playbook ./ansible/playbooks/mgmt/get_hashi_vault_token.yml
Ограничение целевых узлов выполнения Ansible:
Использование: lctl deploy --components services --ansible-opts '--limit control-node,app1-node'
Обязательное условие: в параметре --limit всегда должен быть указан узел control-node
Дополнительные флаги:
-f </conf/path> Путь к конфигурационному файлу LogICore. Если параметр не указан, то по умолчанию используется /etc/lctl/config.yml
--ansible-opts '<--param1 --param2 -P3>' Дополнительные параметры Ansible, например, '-diff --check --list-tasks --limit'
--plan|--dry-run Показать состав, порядок работ и команды Ansible без запуска (deploy|uninstall|up|down)
-h|--help|help Вывести эту справку
-v|--version|version Вывести версию LogICore
Список доступных модулей и сервисов LogICore:
registry: registry
tools: portainer,vault
storage: clickhouse,s3,postgres,mpsiem_rabbitmq
external: openldap,mailhog
services: earth,apigw,docs,mercury,mars,saturn,venus
monitoring: prometheus,victoriametrics,grafana,traefik,cadvisor,docket-proxy,script-exporter,saturn-metrics-exporter,php-fpm-exporter
Для выбора всех вышеперечисленных модулей укажите: all
Проверка работоспособности Системы
Для того чтобы проверить успешность завершения установки Логикор, перейдите в веб-интерфейс управления Системой. Он будет доступен по адресу http://<IP-адрес_сервера>:5555.
Учетные данные по умолчанию:
- Логин: admin;
- Пароль: +L0giCore+.
Вместе с модулем services развертывается сервис веб-документации (docs), поэтому документация продукта доступна по адресу http://<IP-адрес_сервера>:5555/docs.
FAQ
Как указать компоненты при развертывании или остановке Логикор?
Компоненты перечисляются позиционно в командах lctl up (развернуть/обновить) и lctl down (остановить): lctl up vault services, lctl down vault services. Разделители — запятая и/или пробел, регистр не важен, дубли отбрасываются, all — все модули. Если список не указан, команда lctl up развернет все компоненты Логикор, а для lctl down список обязателен (защита от остановки всего стенда). Команды up и down — короткие алиасы команд deploy и uninstall; совместимый формат — lctl deploy --components vault,services. Подробнее описано в справке lctl --help.
Как посмотреть список доступных модулей и сервисов?
Выполните команду lctl ls — она выведет модули, входящие в них сервисы и примеры команд. Машиночитаемый список (по одному компоненту на строку) — lctl ls --plain.
Как указать нужные версии сервисов?
Просмотрите файл /usr/share/lctl/stand.env: параметр PRODUCT_VERSION задает версию продукта, параметры вида <СЕРВИС>_IMAGE_TAG — версии используемых сервисов.
Как изменить конфигурацию Логикор при развертывании?
Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл. Путь к файлу указывается флагом -f </conf/path> (если параметр не указан, используется /etc/lctl/config.yml). В каталоге /usr/share/lctl/ansible/inventories/presets хранятся пресеты для различных конфигураций Логикор, которые можно использовать как есть для развертывания Логикор или для клонирования одного из пресетов с последующей перенастройкой Логикор под специфичные условия и окружение.
Как остановить работу служб?
Для остановки работы служб перечислите их в команде lctl down:
lctl down <список_служб_и/или_модулей> -f <путь_к_конфигурационному_файлу_Логикор>