Перейти к содержанию

Micro Focus ArcSight Logger через Fluentd

В этой инструкции описан пример интеграции Вебмониторэкс с Micro Focus ArcSight Logger через промежуточный коллектор логов Fluentd.

Схема логирования событий в комплексных системах может состоять из нескольких компонентов, например:

  • Коллектор логов: принимает логи от нескольких источников и выгружает логи в SIEM-систему.

  • SIEM-система или другая система управления логами: используется для анализа логов и мониторинга состояния системы.

Движение вебхука

Чтобы логировать события Вебмониторэкс во Fluentd → Micro Focus ArcSight Logger таким образом, ознакомьтесь с приведенным примером интеграции.

Интеграция с Enterprise‑версией SIEM‑системы ArcSight ESM

Чтобы настроить отправку логов в Enterprise‑версию SIEM‑системы ArcSight ESM через Fluentd, рекомендуется настроить Syslog Connector для обработки логов по стандарту Syslog на стороне ArcSight и отправлять логи из Fluentd на порт настроенного коннектора. Для получения более подробной информации о коннекторах, скачайте SmartConnector User Guide из официальной документации на коннекторы ArcSight.

Используемые ресурсы

IP-адреса Вычислительного кластера Вебмониторэкс

Для предоставления Вычислительному кластеру Вебмониторэкс доступа к вашей системе, вам может понадобиться список публичных IP-адресов Вычислительного кластера. Чтобы получить список этих адресов, обратитесь в службу поддержки Вебмониторэкс.

Обратите внимание, что публичные IP-адреса Вычислительного кластера Вебмониторэкс могут изменяться время от времени. Если у вас возникают проблемы с используемыми адресами, обратитесь за актуальным списком в службу поддержки Вебмониторэкс.

Ссылки на сервисы ArcSight Logger и Fluentd приведены в документации в качестве примера и недоступны для внешнего использования.

Настройка ArcSight Logger

На стороне ArcSight Logger настроен получатель логов Вебмониторэкс Fluentd logs:

  • Принимает логи по протоколу UDP (Type = UDP Receiver)

  • Слушает порт 514

  • Применяет к логам парсер syslog

  • Использует остальные настройки по умолчанию

Настройка получателя логов ArcSight Logger

Для получения более подробной информации о настройке получателя логов, скачайте Logger Installation Guide подходящей версии из официальной документации на ArcSight Logger.

Настройка Fluentd

Вебмониторэкс отправляет логи в промежуточный коллектор логов через вебхуки. Поэтому для корректной интеграции конфигурация Fluentd должна соответствовать следующим требованиям:

  • Принимать POST- или PUT-запросы

  • Принимать запросы по протоколу HTTPS

  • Иметь публичный URL

  • Выводить логи в Micro Focus ArcSight Logger, в примере для этого используется плагин remote_syslog

Пример настройки Fluentd описан в конфигурационном файле td-agent.conf:

  • Обработка входящих вебхуков настроена в директиве source:

    • Трафик поступает на порт 9880
    • Fluentd обрабатывает только HTTPS‑соединения
    • TLS-сертификат для Fluentd расположен в файле /etc/ssl/certs/fluentd.crt
    • Приватный ключ сертификата расположен в файле /etc/ssl/private/fluentd.key
  • Отправка логов в ArcSight Logger и вывод логов настроены в директиве match:

    • Логи всех событий копируются из Fluentd и отправляются в ArcSight Logger по IP‑адресу https://192.168.1.73:514
    • Логи из Fluentd в ArcSight Logger отправляются в формате JSON по стандарту Syslog
    • Соединение с ArcSight Logger выполняется по протоколу UDP
    • Логи Fluentd дополнительно выводятся в командную строку в формате JSON (19-22 строки кода). Настройка используется для проверки, что события записываются в логи Fluentd
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<source>
  @type http # input‑плагин для HTTP и HTTPS‑трафика
  port 9880 # порт для входящих запросов
  <transport tls> # настройки для обработки подключений к Fluentd
    cert_path /etc/ssl/certs/fluentd.crt
    private_key_path /etc/ssl/private/fluentd.key
  </transport>
</source>
<match **>
  @type copy
  <store>
      @type remote_syslog # output‑плагин для отправки логов из Fluentd по стандарту Syslog
      host 192.168.1.73 # IP‑адрес, на который отправляются логи
      port 514 # порт, на который отправляются логи
      protocol udp # протокол соединения
    <format>
      @type json # формат отправки логов
    </format>
  </store>
  <store>
     @type stdout # output‑плагин для вывода логов Fluentd в командную строку
     output_type json # формат вывода логов Fluentd в командную строку
  </store>
</match>

Более подробное описание конфигурационного файла доступно в официальной документации Fluentd.

Тестирование настроек Fluentd

Чтобы протестировать запись логов во Fluentd и выгрузку данных в ArcSight Logger, можно отправить POST‑запрос во Fluentd.

Пример запроса:

curl -X POST 'https://fluentd-example-domain.com' -H "Content-Type: application/json" -d '{"key1":"value1", "key2":"value2"}'

Логи Fluentd:

Логи Fluentd

Событие в ArcSight Logger:

Логи ArcSight Logger

Настройка интеграции с Fluentd

  • Вебхуки отправляются на https://fluentd-example-domain.com

  • Для отправки вебхуков используются запросы типа POST

  • В расширенных настройках интеграции заданы значения по умолчанию

  • Вебхуки отправляют на Webhook URL все доступные события: хиты, системные события, уязвимости, изменения сетевого периметра

Webhook-интеграция с Fluentd

Подробнее о настройке интеграции с Fluentd

Тестирование примера

Для тестирования настроек в Консоли управления Вебмониторэкс добавляется новый пользователь:

Добавление пользователя

В логах Fluentd появится запись:

Запись о новом пользователе в логах Fluentd

В событиях ArcSight Logger появится запись:

Карточка о новом пользователе Fluentd в ArcSight Logger