В данной статье описаны показатели системы, отображаемые в блоке Работа слоя сервисов.

Данный блок можно разделить на четыре основных части:

• Работа сервиса Земля;
• Работа сервиса Меркурий;
• Работа сервиса Венера;
• Работа сервиса Сатурн.

Работа сервиса Земля

В данном блоке отображаются следующие показатели:

• Earth Containers — список контейнеров, IP-адреса узлов на которых они запущены и их состояние. Может принимать следующие значения:
  • DOWN — контейнер остановлен, процесс внутри не запущен;
  • UP (Unhealthy) — контейнер запущен, но healthcheck повторно не проходит, сервис внутри работает неправильно или недоступна;
  • UP (Healthy) — контейнер запущен, healthcheck успешен, срвис полностью работает;
  • UP (Starting) — контейнер запущен, но healthcheck ещё не прошёл ни разу, контейнер в процессе инициализации;
  • Containers Not Found — контейнеры, указанные в команде или в compose-проекте, не найдены, они не существуют или были удалены.
• Earth containers CPU usage and limits — использование контейнерами ресурсов ЦП и установленные лимиты использования;
• Earth containers memory usage and limits — использование контейнерами оперативной памяти и установленные лимиты использования;
• Earth php-fpm Total Process Utilization — средняя загрузка пула PHP-FPM в процентах;
• Earth php-fpm number of processes by state — количество процессов PHP-FPM по состояниям;
• Earth Error Response Statuses — количество ошибок при выполнении HTTP-запросов сервисом Земля;
• Earth HTTP Request Duration — длительность выполнения HTTP-запросов сервисом Земля.

В данном блоке отображаются следующие показатели:

• Worker Queue Count — количество задач, ожидающих обработки воркерами сервиса Земля;
• Worker Jobs in progress — количество задач, которые выполняются в данный момент воркером сервиса Земля;
• Worker Executed Tasks — количество успешно выполненных задач воркером сервиса Земля;
• Reverb active channels — количество активных каналов передачи данных в reverb сервиса Земля;
• Reverb Data Transfers — статистика объёма и количества передач данных через reverb сервиса Земля;
• Common Postgres Errors — количество ошибок при обращении к PostgreSQL сервисом Земля;
• Common Clickhouse Errors — количество ошибок при обращении к ClickHouse сервисом Земля;
• Common S3 Errors — количество ошибок при обращении к хранилищу S3 сервисом Земля;
• Common Venus Http Request Errors — количество ошибок внешних HTTP-запросов сервисом Земля к сервису Венера.

Также, для некоторых графиков доступна таблица показателей со следующими возможными столбцами:

• Name — имя показателя/параметра;
• Last — последнее значение, не равное нулю;
• Max — максимальное значение;
• Min — минимальное значение;
• Mean — усредненное значение.

Работа сервиса Меркурий

В данном блоке отображаются следующие показатели:

• Mercury Containers — список контейнеров, IP-адреса узлов на которых они запущены и их состояние. Может принимать следующие значения:
  • DOWN — контейнер остановлен, процесс внутри не запущен;
  • UP (Unhealthy) — контейнер запущен, но healthcheck повторно не проходит, сервис внутри работает неправильно или недоступна;
  • UP (Healthy) — контейнер запущен, healthcheck успешен, сервис полностью работает;
  • UP (Starting) — контейнер запущен, но healthcheck ещё не прошёл ни разу, контейнер в процессе инициализации;
  • Containers Not Found — контейнеры, указанные в команде или в compose-проекте, не найдены, они не существуют или были удалены.
• Mercury containers CPU usage and limits — использование контейнерами ресурсов ЦП и установленные лимиты использования;
• Mercury containers memory usage and limits — использование контейнерами оперативной памяти и установленные лимиты использования.

Также, для некоторых графиков доступна таблица показателей со следующими возможными столбцами:

• Name — имя показателя/параметра;
• Mean — усредненное значение;
• Max — максимальное значение.

Работа сервиса Венера

В данном блоке отображаются следующие показатели:

• Venus Containers — список контейнеров, IP-адреса узлов на которых они запущены и их состояние. Может принимать следующие значения:
  • DOWN — контейнер остановлен, процесс внутри не запущен;
  • UP (Unhealthy) — контейнер запущен, но healthcheck повторно не проходит, сервис внутри работает неправильно или недоступна;
  • UP (Healthy) — контейнер запущен, healthcheck успешен, сервис полностью работает;
  • UP (Starting) — контейнер запущен, но healthcheck ещё не прошёл ни разу, контейнер в процессе инициализации;
  • Containers Not Found — контейнеры, указанные в команде или в compose-проекте, не найдены, они не существуют или были удалены.
• Venus containers CPU usage and limits — использование контейнерами ресурсов ЦП и установленные лимиты использования;
• Venus containers memory usage and limits — использование контейнерами оперативной памяти и установленные лимиты использования;
• Venus Error HTTP Requests — количество ошибок при выполнении HTTP-запросов сервисом Венера;
• Venus Request Latency — длительность выполнения HTTP-запросов сервисом Венера;
• Celery Task Duration — длительность выполнения задач Celery сервиса Венера.

В данном блоке отображаются следующие показатели:

• Venus DB Errors — количество ошибок при обращении сервиса Венера к PostgreSQL;
• Celery DB Errors — количество ошибок при обращении Celery к ClickHouse;
• Celery SIEM Errors — количество ошибок при взаимодействии Celery с SIEM-системой;
• Celery Failed Task — количество задач Celery, завершившихся с ошибкой;
• Common Success Task Total — количество успешно выполненных задач Celery.

Также, для некоторых графиков доступна таблица показателей со следующими возможными столбцами:

• Name — имя показателя/параметра;
• Last — последнее значение, не равное нулю;
• Max — максимальное значение;
• Min — минимальное значение;
• Mean — усредненное значение;
• Total — всего.

Работа сервиса Сатурн

В данном блоке отображаются следующие показатели:

• Saturn Containers — список контейнеров, IP-адреса узлов на которых они запущены и их состояние. Может принимать следующие значения:
  • DOWN — контейнер остановлен, процесс внутри не запущен;
  • UP (Unhealthy) — контейнер запущен, но healthcheck повторно не проходит, сервис внутри работает неправильно или недоступна;
  • UP (Healthy) — контейнер запущен, healthcheck успешен, сервис полностью работает;
  • UP (Starting) — контейнер запущен, но healthcheck ещё не прошёл ни разу, контейнер в процессе инициализации;
  • Containers Not Found — контейнеры, указанные в команде или в compose-проекте, не найдены, они не существуют или были удалены.
• Saturn containers CPU usage and limits — использование контейнерами ресурсов ЦП и установленные лимиты использования;
• Saturn containers memory usage and limits — использование контейнерами оперативной памяти и установленные лимиты использования;
• Saturn JVM Heap used — объём Heap-памяти, используемый процессами сервиса Сатурн;
• Saturn Failures rate — количество ошибок записи в ClickHouse и SIEM-систему, возникающих при работе сервиса Сатурн;
• Saturn Watcher Tasks Errors — количество ошибок задач watcher-компонента сервиса Сатурн.