Перейти к основному содержимому
Версия: v2.8.x

Установка инсталляции Логикор разнесенной на три сервера с помощью Ansible

В рамках данной лабораторной работы мы расскажем, как выполнить установку конфигурации Логикор, разнесенной на три сервера, что для этого необходимо, как выполнить проверку работоспособности кластера и ответим на наиболее часто встречающиеся вопросы. Длительность выполнения лабораторной работы — 3 часа.

Требования к серверам для выполнения установки​

Для того чтобы выполнить данную лабораторную работу, вам понадобится:

  • 1 виртуальная машина под управлением ОС Astra Linux Special Edition не ниже версии 1.7.5 для control-node (Registry, Vault, S3, Postgres, Services, Monitoring);
  • 1 виртуальная машина под управлением ОС Astra Linux Special Edition не ниже версии 1.7.5 для сервера хранения (ClickHouse и ClickHouse Keeper);
  • 1 виртуальная машина под управлением ОС Astra Linux Special Edition не ниже версии 1.7.5 для конвейера (Saturn);
  • загруженный дистрибутив системы долговременного хранения данных Логикор.
к сведению

Дистрибутив Системы должен иметь имя logicore_x.x.x-offline_amd64.run, где x.x.x — номер версии.

к сведению

Требования к аппаратным ресурсам серверов (количество ядер, объем оперативной памяти и дискового пространства) зависят от предполагаемой нагрузки и приведены в статье Логикор. Аппаратные требования — смотрите раздел «Аппаратные требования для отказоустойчивой конфигурации».

Подготовка серверов​

внимание

На каждом сервере должна быть выполнена интеграция с корпоративным NTP-сервером.

Процесс установки Системы подразумевает развертывание с помощью утилит Docker и Ansible. Все команды и скрипты выполняются с сервера, на котором будет развернут сервер приложений.

к сведению

Такой сервер называется управляющим. Серверы, на которые будет выполнена установка сервера хранения и конвейера, называются управляемыми.

Такой вариант установки требует доступа к серверам по протоколу SSH. Рассмотрим процесс установки более подробно.

Настройка SSH-подключения​

к сведению

OpenSSH должен быть настроен на стандартный 22 порт.

Для настройки SSH-подключения необходимо выполнить следующие действия:

Шаг 1. Если для установки Логикор имеется потребность в использовании непривилегированного пользователя, отличного от root, то необходимо создать целевого SSH-пользователя на всех управляющих и управляемых серверах, если этого не было сделано ранее. Для этого на управляющем и всех управляемых серверах выполните следующие команды:

sudo useradd -m -s /usr/bin/bash -g users -G sudo <целевой_ssh_пользователь>
sudo groupadd <целевой_ssh_пользователь>

Шаг 2. Если целевой пользователь на серверах является непривилегированным, отличным от root, то на каждом из них необходимо добавить пользователя в sudo с отключением ввода пароля:

echo '<целевой_ssh_пользователь> ALL=(ALL) NOPASSWD: ALL' | sudo tee -a /etc/sudoers

Шаг 3. На управляющем сервере выполните генерацию SSH-ключей под целевым пользователем, под которым будет запускаться установка Логикор:

su - <целевой_ssh_пользователь>
ssh-keygen -t rsa

Шаг 4. Скопируйте публичный SSH-ключ с управляющего сервера на каждый управляемый сервер под целевым SSH-пользователем:

ssh-copy-id <целевой_ssh_пользователь>@<IP_адрес_или_FQDN_управляемого_сервера_1>
ssh-copy-id <целевой_ssh_пользователь>@<IP_адрес_или_FQDN_управляемого_сервера_2>

Перенос дистрибутива Логикор для установки​

Для установки Системы необходимо загрузить дистрибутив Логикор на управляющий сервер и затем распаковать. Для этого выполните следующие действия:

Шаг 1. Подключите USB-накопитель к устройству, с которого доступен управляющий сервер по SSH, и скопируйте дистрибутив на сервер:

scp <путь_к_офлайн-сборке_на_USB-накопителе> <целевой_ssh_пользователь>@<адрес_управляющего_сервера>:/opt/logicore_<версия_Логикор>-offline_amd64.run

Шаг 2. Войдите в терминал управления сервера и выполните распаковку офлайн-дистрибутива с помощью следующих команд:

sudo chmod +x /opt/logicore_<версия_Логикор>-offline_amd64.run
sudo /opt/logicore_<версия_Логикор>-offline_amd64.run

Подготовка конфигурационного файла Логикор​

Общая информация​

Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл.

Путь к конфигурационному файлу​

Все параметры устанавливаемой Системы задаются в конфигурационном .yml-файле. Путь к конфигурационному файлу Логикор можно указать через флаг -f </conf/path>. Если параметр не указан, то по умолчанию используется путь /etc/lctl/config.yml.

Процесс подготовки конфигурационного файла​

Конфигурационный файл создается на управляющем сервере по пути /etc/lctl/config.yml — этот путь используется по умолчанию; при необходимости его можно переопределить флагом -f </conf/path> в командах lctl.

Содержимое конфигурационного файла для данного варианта установки приведено ниже, в разделе «Пример конфигурационного файла».

Настройка приема данных​

При подготовке конфигурационного файла необходимо определить способ приема данных. Для этого в файле /etc/lctl/config.yml используется параметр use_apigw_proxy.

Пример настройки:

variables_overrides:
saturn:
config:
use_apigw_proxy: "false"

Если параметр saturn.config.use_apigw_proxy: "false", то в контейнере Saturn выполнится публикация внешних портов приема данных, а внешние порты apigw и проксирование к Saturn отключатся.

внимание

Если Saturn и apigw уже были развернуты, то после активации saturn.config.use_apigw_proxy: "false" необходимо переразвернуть и apigw (в первую очередь) и Saturn, иначе контейнер Saturn не сможет развернуться из-за конфликта внешних портов с apigw.

Переопределение переменных Ansible​

Все переменные Ansible со значениями по умолчанию находятся во внутреннем файле /usr/share/lctl/ansible/inventories/defaults.yml. При необходимости любое из этих значений можно переопределить во внешнем конфигурационном файле /etc/lctl/config.yml.

Глобальное переопределение выполняется через секцию variables_overrides:

variables_overrides:
deployment_type: "docker-compose"
offline_mode: "true"
init_aptly: "true"
use_repo_aptly: "true"
apigw:
config:
product_info_page_enable: "true"
mpsiem_rabbitmq:
use_external_instance: "true"

Также при необходимости можно выполнить переопределение значения переменной на уровне конкретного хоста/хостов через секцию hosts. Такое переопределение имеет более высокий приоритет, чем в секции variables_overrides.

hosts:
- name: control-node
address: 127.0.0.1
connection: local

- name: saturn1
address: 10.10.10.10
user: administrator
connection: ssh
docker_rootless: "false"

- name: "click1-1"
address: "10.10.10.11"
connection: "ssh"
user: "administrator"
deployment_type: "bare-metal"
clickhouse_shard_id: "shard-01"
clickhouse_replica_id: "replica-01-01"

variables_overrides:
docker_rootless: "true"
deployment_type: "docker-compose"

Файл defaults.yml также можно использовать как справочник — в нем перечислены все доступные параметры и настройки продукта Логикор, а также показана структура вложенности YAML.

внимание

Важно строго придерживаться этой структуры при переопределении параметров: если нарушить вложенность или формат, изменения не будут применены.

Пример конфигурационного файла​

В данной лабораторной работе Система будет разнесена на три сервера: сервер приложений (управление Логикор), сервер хранения (ClickHouse) и сервер конвейера (Saturn).

Ниже приведен пример конфигурационного файла Логикор для такого варианта установки — его содержимое размещается в файле /etc/lctl/config.yml на управляющем сервере:

# Определение целевых хостов для Логикор. По умолчанию определяется только локальный хост `control-node`.
hosts:
# Сервер приложений (управляющий сервер) — с него выполняется установка Логикор
- name: "control-node"
address: "{{ docker_host_ip_address }}"
connection: "local"

# Сервер хранения — ClickHouse и ClickHouse Keeper
- name: "click1-1"
address: "10.10.10.10"
connection: "ssh"
user: "deployer"
deployment_type: "bare-metal"
clickhouse_shard_id: "shard-01"
clickhouse_replica_id: "replica-01-01"

# Сервер конвейера — Saturn
- name: "saturn1"
address: "10.10.10.11"
connection: "ssh"
user: "deployer"
docker_rootless: "false"

# Переопределение целевых хостов для конкретных компонентов Логикор. По умолчанию для всех компонентов используется локальный хост `control-node`.
# Список доступных компонентов: clickhouse, clickhouse_keeper, postgres, s3, apigw, aptly, registry, vault, portainer, mpsiem_rabbitmq, venus, earth, saturn, mercury, mars, docs, prometheus, grafana, victoriametrics, openldap, mailhog, docker
targets_overrides:
clickhouse:
hosts:
- click1-1
clickhouse_keeper:
hosts:
- click1-1
saturn:
hosts:
- saturn1

# Переопределение переменных с параметрами развертывания Логикор и его компонентов. Перечень доступных параметров и их структуру можно посмотреть в /usr/share/lctl/ansible/inventories/defaults.yml
variables_overrides:
deployment_type: "docker-compose" # Обязательный параметр с указанием типа развертывания. Возможные значения: docker-compose, helm
offline_mode: "true"
init_aptly: "true"
use_repo_aptly: "true"
apigw:
config:
product_info_page_enable: "true"

# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# mpsiem_rabbitmq:
# use_external_instance: "true"

earth:
config:
clickhouse:
max_execution_time: 3600
max_concurrent_queries_for_user: 40 # Важно! Может потребоваться подбор более оптимального значения параметра под целевое окружение от 40 до 80
max_threads: 4 # Важно! Может потребоваться подбор более оптимального значения параметра в зависимости от нагрузки на CPU узлов Clickhouse
max_memory_usage_for_user: 20615843021 # Важно! Укажите 30% от объема RAM на одном узле ClickHouse (байты)
saturn:
# Важно! Убедитесь, что значения по умолчанию для jvm_xmx (+ requests и limits для развертывания через helm) соответствуют целевому окружению компонента Saturn.
config:
use_apigw_proxy: "false" # При значении "false" прием данных выполняется напрямую через внешние порты, без проксирования через apigw
# Важно! Убедитесь, что значения по умолчанию для jvm_xmx соответствуют целевому окружению компонента Сатурн.
# jvm_xms: "10g"
# jvm_xmx: "42g"
# jvm_xss: "4M"

# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# manual_set_endpoints:
# mpsiem_rabbitmq: "CHANGEME" # Укажите адрес rabbitmq MaxPatrol SIEM
# vault:
# secret_data:
# saturn:
# mpsiem_rabbitmq_username: "siem" # можно удалить после первого деплоя
# mpsiem_rabbitmq_password: "CHANGEME" # можно удалить после первого деплоя


# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# venus:
# manual_set_endpoints:
# mpsiem_ptkb: "CHANGEME" # Укажите адрес PTKB MaxPatrol SIEM
# vault:
# secret_data:
# venus:
# mpsiem_ptkb_username: "Administrator" # можно удалить после первого деплоя
# mpsiem_ptkb_password: "CHANGEME" # можно удалить после первого деплоя

# Используйте следующие параметры, если требуется интеграция с MP SIEM.
# Важно! Укажите адрес PTKB MaxPatrol SIEM: при значении по умолчанию (127.0.0.1) конвертация правил в сервисе mars-worker работать не будет.
# mars:
# config:
# mpsiem_ptkb:
# hostname: "CHANGEME" # Укажите адрес PTKB MaxPatrol SIEM
# #scheme: "https"
# #ms_port: 3334
# #kb_port: 8091
# #timeout: "300s"
# #skip_tls_verify: "true"
# vault:
# secret_data:
# mars:
# mpsiem_ptkb_username: "Administrator" # можно удалить после первого деплоя
# mpsiem_ptkb_password: "CHANGEME" # можно удалить после первого деплоя
к сведению

В рамках данной лабораторной работы используется стандартный конфигурационный файл без изменения параметров. При необходимости перед развертыванием можно выбрать другой формат записи событий. Для этого задайте значение параметра taxonomy_format:

  • "mpsiem" — формат MP SIEM, используется по умолчанию;
  • "json" — формат JSON.
внимание

Переключение режима записи событий (значение параметра taxonomy_format) после развертывания стенда недопустимо.

Пример переопределения временных каталогов Ansible​

Во время распаковки крупных архивов (например, aptly или registry) Ansible использует временные каталоги, в которых должно быть достаточно свободного места. Каталог на целевых хостах задается параметром remote_tmp (в дистрибутиве — remote_tmp = /tmp/.ansible-${USER}/tmp в файле /usr/share/lctl/ansible/cfg/ansible.cfg), каталог на управляющем хосте — параметром local_tmp (по умолчанию ~/.ansible/tmp).

Если раздел /tmp имеет недостаточный размер (например, менее 10 ГБ), могут возникать ошибки при выполнении Ansible-задач, связанных с распаковкой крупных архивов. В этом случае переопределите используемые каталоги перед запуском lctl с помощью переменных окружения ANSIBLE_REMOTE_TMP и ANSIBLE_LOCAL_TEMP:

sudo mkdir -p /opt/.ansible/tmp && sudo chown -R ${USER}:${USER} /opt/.ansible
export ANSIBLE_REMOTE_TMP="/opt/.ansible/tmp"
export ANSIBLE_LOCAL_TEMP="/opt/.ansible/tmp"

Важно, чтобы каталоги существовали, а пользователь, под которым запускается Ansible, имел доступ на всех целевых хостах, перечисленных в блоке hosts в /etc/lctl/config.yml, включая control-node.

Развертывание слоя хранения ClickHouse и ClickHouse Keeper в формате bare-metal​

ClickHouse и ClickHouse Keeper разворачиваются автоматически средствами lctl на сервере хранения — выполнять на нем какие-либо действия вручную не нужно. В конфигурационном файле для этого указываются:

  • в секции hosts — сервер хранения с параметрами deployment_type: "bare-metal", clickhouse_shard_id и clickhouse_replica_id (пример приведен в разделе «Пример конфигурационного файла»);
  • в секции targets_overrides — компоненты clickhouse и clickhouse_keeper. Параметр clickhouse_keeper обязателен: если он не указан, развертывание прерывается с ошибкой.
к сведению

Если ClickHouse и ClickHouse Keeper размещены на одних и тех же хостах (как в примере выше), используется встроенный (embedded) keeper: отдельный пакет clickhouse-keeper не устанавливается. Чтобы разместить ClickHouse Keeper на выделенном сервере, укажите его в targets_overrides.clickhouse_keeper отдельно от clickhouse.

Запуск процесса подготовки сервера к установке Логикор​

Для того чтобы запустить процесс подготовки управляющего сервера к установке Логикор, выполните на нем следующую команду:

lctl prepare-host
к сведению

Помимо подготовки хостов команда lctl prepare-host устанавливает bash-автодополнение для lctl: в новом терминале после ее выполнения заработает автодополнение команд и компонентов (например, lctl up ea + Tab → earth).

Процесс установки Логикор​

Для того чтобы запустить процесс установки Логикор, выполните на нем следующую команду:

lctl up

Справка об использовании скрипта развертывания Логикор​

Справка об использовании скрипта развертывания LogICore

Команды:
prepare-host Подготовить хосты и окружение к развертыванию или обновлению LogICore
Использование: lctl prepare-host [--ansible-tags <tag1,tag2,...>]
Опциональные параметры:
--ansible-tags <tag1,tag2,...> Указать теги для запуска определенных задач Ansible. Если параметр не указан, то по умолчанию указываются все доступные Ansible теги
Доступные Ansible теги:
security_disable,set_sysctl,init_aptly,os_packages_install,docker_install,hosts_file

deploy|uninstall Развернуть/обновить или удалить компоненты LogICore
Использование: lctl <deploy|uninstall> <module|service>… [-f </conf/path>]
Пример: lctl deploy earth,venus | lctl uninstall --components all

up|down Короткие алиасы: up = deploy, down = uninstall
Использование: lctl up <module|service>… [-f </conf/path>]
lctl down <module|service>… [-f </conf/path>]
Пример: lctl up earth mars | lctl up (без списка = все компоненты)

ls Список доступных модулей и сервисов

Список компонентов — один и тот же для deploy|uninstall|up|down, предпочтителен следующий формат:
lctl up earth mars
Разделители — запятая и/или пробел, регистр не важен, дубли отбрасываются; all — все модули.
Совместимый формат: --components earth,mars.

generate-helm-charts Сгенерировать Helm-чарты из Ansible-шаблонов без деплоя в Kubernetes
Использование: lctl generate-helm-charts [-f </conf/path>]
Результат: готовые чарты (values.yaml, files/, Chart.yaml, templates/) для ручного развертывания через helm
Документация: /usr/share/lctl/docs/vanilla-k8s/manual-deployment-in-k8s.md

ansible Прямой вызов ansible, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/lctl/config.yml
Использование: lctl ansible <ansible commands and flags>

ansible-playbook Прямой вызов ansible-playbook, путь к инвентарю необходимо передать через -f </conf/path> или создать его по пути /etc/lctl/config.yml
Использование: lctl ansible-playbook <ansible-playbook commands and flags>

get-config Вывести текущую полную конфигурацию LogICore
Использование: lctl get-config

get-example-conf Вывести пример конфигурационного файла LogICore
Использование: lctl get-example-conf

completion [bash|install] Автодополнение bash (самообновляемое)
Установка (один раз): lctl completion install # стаб в /etc/bash_completion.d (нужен sudo)
lctl completion install --user # без sudo, только своему пользователю (~/.bashrc)
Стаб генерирует дополнение из установленного lctl при старте шелла — файл не отстаёт от версии lctl.
На стенде ставится автоматически при 'lctl prepare-host'.
Новые терминалы подхватывают его сами; в текущем: source /etc/bash_completion.d/lctl (или exec bash).
Печать самого скрипта (просмотр/ручная установка): lctl completion bash
Работает и при запуске по пути (./bin/lctl): спеку bash ищет по имени команды, компоненты берутся из набранного бинарника.
Проверка: набрать 'lctl up ea' и нажать Tab — подставится 'earth'.

Вывести значение Vault Root Token:
Использование: lctl ansible-playbook ./ansible/playbooks/mgmt/get_hashi_vault_token.yml

Ограничение целевых узлов выполнения Ansible:
Использование: lctl deploy --components services --ansible-opts '--limit control-node,app1-node'
Обязательное условие: в параметре --limit всегда должен быть указан узел control-node

Дополнительные флаги:
-f </conf/path> Путь к конфигурационному файлу LogICore. Если параметр не указан, то по умолчанию используется /etc/lctl/config.yml
--ansible-opts '<--param1 --param2 -P3>' Дополнительные параметры Ansible, например, '-diff --check --list-tasks --limit'
--plan|--dry-run Показать состав, порядок работ и команды Ansible без запуска (deploy|uninstall|up|down)
-h|--help|help Вывести эту справку
-v|--version|version Вывести версию LogICore

Список доступных модулей и сервисов LogICore:
registry: registry
tools: portainer,vault
storage: clickhouse,s3,postgres,mpsiem_rabbitmq
external: openldap,mailhog
services: earth,apigw,docs,mercury,mars,saturn,venus
monitoring: prometheus,victoriametrics,grafana,traefik,cadvisor,docket-proxy,script-exporter,saturn-metrics-exporter,php-fpm-exporter

Для выбора всех вышеперечисленных модулей укажите: all

Проверка работоспособности Системы​

Для того чтобы проверить успешность завершения установки Логикор, перейдите в веб-интерфейс управления Системой. Он будет доступен по адресу http://<IP-адрес_управляющего_сервера>:5555.

Учетные данные по умолчанию:

  • Логин: admin;
  • Пароль: +L0giCore+.

Вместе с модулем services развертывается сервис веб-документации (docs), поэтому документация продукта доступна по адресу http://<IP-адрес_управляющего_сервера>:5555/docs.

FAQ​

Как указать компоненты при развертывании или остановке Логикор?​

Компоненты перечисляются позиционно в командах lctl up (развернуть/обновить) и lctl down (остановить): lctl up vault services, lctl down vault services. Разделители — запятая и/или пробел, регистр не важен, дубли отбрасываются, all — все модули. Если список не указан, команда lctl up развернет все компоненты Логикор, а для lctl down список обязателен (защита от остановки всего стенда). Команды up и down — короткие алиасы команд deploy и uninstall; совместимый формат — lctl deploy --components vault,services. Подробнее описано в справке lctl --help.

Как посмотреть список доступных модулей и сервисов?​

Выполните команду lctl ls — она выведет модули, входящие в них сервисы и примеры команд. Машиночитаемый список (по одному компоненту на строку) — lctl ls --plain.

Как указать нужные версии сервисов?​

Просмотрите файл /usr/share/lctl/stand.env: параметр PRODUCT_VERSION задает версию продукта, параметры вида <СЕРВИС>_IMAGE_TAG — версии используемых сервисов.

Как изменить конфигурацию Логикор при развертывании?​

Конфигурация Логикор описывается в конфигурационном файле, представляющем собой Ansible Inventory-файл. Путь к файлу указывается флагом -f </conf/path> (если параметр не указан, используется /etc/lctl/config.yml). В каталоге /usr/share/lctl/ansible/inventories/presets хранятся пресеты для различных конфигураций Логикор, которые можно использовать как есть для развертывания Логикор или для клонирования одного из пресетов с последующей перенастройкой Логикор под специфичные условия и окружение.

Как остановить работу служб?​

Для остановки работы служб перечислите их в команде lctl down:

lctl down <список_служб_и/или_модулей> -f <путь_к_конфигурационному_файлу_Логикор>