Введение

Fluent Bit — это открытый и многоплатформенный инструмент для обработки и распределения журналов.
В настоящее время данные поступают из различных источников, и Fluent Bit может помочь вам агрегировать и обрабатывать все ваши журналы.
Теперь Manticore также поддерживает использование Fluent Bit в качестве конвейера обработки. Это позволяет собранным и преобразованным данным отправляться в Manticore.

Рассмотрим простой пример индексации dpkg.log, стандартного файла журнала менеджера пакетов Debian. Сам журнал имеет простую структуру, как показано ниже:

2023-05-31 10:42:55 status triggers-awaited ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 trigproc libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 status half-configured libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 status installed libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 trigproc systemd:amd64 245.4-4ubuntu3.21 <none>

Конфигурация

Ниже приведён пример конфигурационного файла Fluent, который можно использовать для работы с Manticore:

[SERVICE]
	flush    	1
	daemon   	On
	log_level	info

[INPUT]
	name tail
	path /var/log/dpkg.log
	inotify_watcher false
	read_from_head true

[OUTPUT]
	name es
	match *
	host 127.0.0.1
	port 9308
	index  dpkg_log

Обратите внимание, что наш пример предназначен для запуска в Docker, поэтому мы запускаем FluentBit в режиме демона и отключаем параметр INPUT inotify_watcher, чтобы избежать возможных проблем с окружением Docker, которые могут привести к ошибкам. Также мы предполагаем, что Manticore запущен на стандартном HTTP‑порту 9308.

Результаты

Теперь вы можете просто запустить Fluentbit, используя приведённую выше конфигурацию. Данные из журнала dpkg будут переданы в Manticore и правильно проиндексированы.

Ниже представлена получившаяся схема созданной таблицы и пример вставленного документа:

mysql> DESCRIBE dpkg_log;
+-------------+--------+----------------+
| Field       | Type   | Properties     |
+-------------+--------+----------------+
| id          | bigint |                |
| @timestamp  | text   | indexed stored |
| log         | text   | indexed stored |
+-------------+--------+----------------+

mysql> SELECT * FROM dpkg_log LIMIT 3\G
*************************** 1. row ***************************
id: 7856533729353662465
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 startup archives install
*************************** 2. row ***************************
id: 7856533729353662466
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 install base-passwd:amd64 <none> 3.5.47
*************************** 3. row ***************************
id: 7856533729353662467
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 status half-installed base-passwd:amd64 3.5.47

Заключение

Интеграция Manticore с Fluent Bit предоставляет мощное и эффективное решение для обработки и индексации журналов, делая их более доступными и управляемыми для различных приложений. Благодаря простой конфигурации и понятным примерам, даже новички могут быстро начать работу и воспользоваться надёжными возможностями совместной работы Manticore и Fluent Bit. Независимо от того, работаете ли вы со стандартными журналами или более сложными источниками данных, это сотрудничество упрощает процесс и открывает новые возможности для эффективного управления данными.