Введение
Vector от Datadog — это высокопроизводительный, сквозной (агент и агрегатор) канал данных мониторинга, который позволяет вам собирать, преобразовывать и направлять все ваши логи и метрики. Кроме того, он является открытым исходным кодом. Хотя он может служить агрегатором сам по себе, может быть более эффективно использовать Vector.dev в сочетании с специализированным инструментом хранения данных, таким как Manticore.
Давайте рассмотрим, как они могут работать вместе. Для этого мы используем пример индексации dpkg.log, стандартного лог-файла менеджера пакетов Debian. Сам лог имеет простую структуру, как показано ниже:
2023-05-31 10:42:55 статус ожидающих триггеров ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 триггер libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 статус полуунатроенный libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 статус установлен libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 триггер systemd:amd64 245.4-4ubuntu3.21 <none>
Настройка
Вот пример конфигурационного файла Vector.dev в формате toml:
[sources.test_file]
type = "file"
include = [ "/var/log/dpkg.log" ]
[transforms.modify_test_file]
type = "remap"
inputs = [ "test_file" ]
source = """
.vec_timestamp = del(.timestamp)"""
[sinks.manticore]
type = "elasticsearch"
inputs = [ "modify_test_file" ]
endpoints = ["http://127.0.0.1:9308"]
bulk.index = "dpkg_log"
Обратите внимание, что в этом примере мы предполагаем, что Manticore использует свой стандартный http порт 9308. Если вы используете нестандартный http порт, вы должны соответствующим образом изменить вашу конфигурацию Vector.dev. Также обратите внимание, что мы добавили раздел transforms в конфигурацию, чтобы переименовать стандартное поле timestamp, так как это зарезервированное слово в Manticore.
Результаты
Теперь просто запустите Vector.dev с вышеуказанной конфигурацией, и данные из лога dpkg будут переданы в Manticore и правильно индексированы.
Вот схема созданной таблицы и пример вставленного документа:
mysql> DESCRIBE dpkg_log;
+-----------------+---------+--------------------+
| Поле | Тип | Свойства |
+-----------------+---------+--------------------+
| id | bigint | |
| file | text | индексированный, сохранённый |
| host | text | индексированный, сохранённый |
| message | text | индексированный, сохранённый |
| source_type | text | индексированный, сохранённый |
| vec_timestamp | text | индексированный, сохранённый |
+-----------------+---------+--------------------+
mysql> SELECT * FROM testlog_3 LIMIT 3\G
*************************** 1. строка ***************************
id: 7856533729353672195
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 запуск установки архивов
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203091741Z
*************************** 2. строка ***************************
id: 7856533729353672196
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 установка base-passwd:amd64 <none> 3.5.47
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203808861Z
*************************** 3. строка ***************************
id: 7856533729353672197
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 статус полуунатроенный base-passwd:amd64 3.5.47
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203814031Z
Заключение
Таким образом, с интеграцией, описанной в этом руководстве, вы теперь можете легко и эффективно индексировать свои лог-данные, используя Manticore в сотрудничестве с Vector от Datadog, высокопроизводительным сквозным каналом данных мониторинга. Эта синергия между Vector.dev и Manticore не только предлагает упрощенный подход к управлению лог-данными, но и расширяет функциональность, позволяя преобразования и маршрутизацию. Независимо от того, имеете ли вы дело с простыми или сложными структурами логов, эта интеграция предоставляет надежное решение, делая процесс сбора, преобразования и хранения ваших данных более доступным и эффективным.