⚠️ Эта страница автоматически переведена, и перевод может быть несовершенным.
blog-post

Хранение логов в Manticore Search: обработка запоздалых событий и повторной доставки

author image
View as markdown

Базовая политика хранения логов удаляет старые записи. Это легко. Сложнее убедиться, что они остаются удалёнными. После сбоя сборщик логов переподключается и повторно отправляет события, которые задание очистки уже удалило. Без проверки при приёме эти просроченные логи могут снова появиться в поиске.

В этой статье показано, как избежать проблемы с помощью семидневного порога по времени события, общего для приёма и удаления, в самостоятельно размещённой таблице Manticore реального времени (RT). Пример можно запустить: вы сможете проверить ответы SQL и увидеть, что происходит при повторной доставке просроченного события.

В нашей статье об интеграции Fluent Bit объясняется, как отправлять логи в Manticore, а интеграция с OpenSearch Dashboards показывает, как их просматривать. Эта статья посвящена запоздалым событиям и повторам, а не массовой загрузке исторических логов.

Почему Manticore подходит для этого процесса

Одна и та же RT-таблица обрабатывает полнотекстовый поиск, фильтрацию по временным меткам, повторы по ID документа и удаление. Manticore предоставляет операции SQL, а приложение приёма решает, какие события входят в сохраняемый интервал. Для запросов к этим примерам логов не нужен отдельный индекс.

Этап процессаКто отвечает за него в этом примере
Поиск сообщений в логах и фильтрация по временной меткеSQL Manticore
Замена повторов для одного ID документаManticore REPLACE
Удаление просроченных документовManticore DELETE
Компактификация фрагментов на дискеManticore OPTIMIZE
Назначение стабильных ID и отклонение конфликтующих полезных нагрузокИсточник логов / приложение
Проверка порога по времени события при каждой записиПриложение
Планирование очистки, координация записывающих процессов и обработка карантинаПриложение

Именно так распределены обязанности в этой статье; встроенного планировщика хранения здесь нет.

Время события и время приёма

event_ts поступает из источника логов, а ingested_ts фиксирует момент, когда наше приложение приняло доставку. Оба значения представляют собой целые секунды эпохи UTC.

Хранение по времени приёма даёт запоздалому логу новый семидневный интервал после поступления. Хранение по времени события позволяет немедленно отклонить его, если он уже слишком старый. Мы используем время события, поскольку поиск должен охватывать момент, когда события произошли, а не момент их поступления на сервер.

Каждая операция выполняется последовательно и вычисляет cutoff = now - 604800. Мы сохраняем события на границе порога и удаляем только те, что старше него. Вот политика допуска:

Входные данныеДействиеПричина
Целое время события меньше границыОтбросить: в поиск не попадётУже за пределами выбранного окна
Целое время события не меньше границы и опережает текущее время не более чем на 300 секундПринятьОпоздавшие события внутри окна остаются полезными
Время отсутствует, не целое или опережает текущее время больше чем на 300 секундКарантинПроверить метку времени или часы источника

Допуск в 300 секунд — это настройка приложения. Принятые события из будущего не попадают в поиск с ограничением по времени, пока не наступит указанная в них временная метка. В этой лабораторной работе временные метки из карантина хранятся в памяти до записи JSON-файла в конце; при сбое они могут быть потеряны. Производственному сервису приёма нужен надёжный карантин, как описано ниже. Отслеживайте отброшенные события отдельно от ошибок SQL.

Приём и очистка используют одну границу; просроченный повтор в таблицу не попадает.

Manticore выполняет записи, поиск и удаление через SQL. Приложение решает, какие события разрешены и когда запускать очистку. В примере не настраиваются автоматический TTL или ежедневные секции.

Небольшая схема с поиском

В лабораторной работе используется Manticore 29.9.0, зафиксированный по Docker digest sha256:461b419739a2bbbffb4be0b32db26c41d7b435bf7fd1fce95b414ca5ccbb3775. Изолированному контейнеру выделены один процессор, 1 ГиБ памяти и HTTP-порт, доступный только через loopback.

CREATE TABLE logs (
  message text,
  service string,
  event_ts timestamp,
  ingested_ts timestamp
);

message поддерживает полнотекстовый поиск, а временные метки позволяют выполнять числовую фильтрацию. Каждое событие получает стабильный глобально уникальный положительный целочисленный ID в пределах диапазона, поддерживаемого Manticore. В рамках контракта неизменяемых событий каждый повтор использует тот же ID:

REPLACE INTO logs
  (id, message, service, event_ts, ingested_ts)
VALUES
  (4, 'gateway timeout', 'api', 1792450800, 1792454400);

REPLACE обновляет ту же строку при идентичных повторах, оставляя одну доступную для поиска копию. Это не означает доставку «ровно один раз». Принятый повтор обновляет ingested_ts, поэтому это не временная метка первого получения. Повторное использование ID с другим содержимым перезаписывает старое событие: REPLACE не сравнивает полезные нагрузки. Делайте ID уникальными для всех источников и отклоняйте конфликтующие полезные нагрузки до передачи в основную систему.

Проверяйте допуск перед каждым REPLACE, включая повторы. Иначе удалённое просроченное событие можно снова записать под тем же ID. Мы подтвердили это прямым REPLACE в Manticore 29.9.0 вне поставляемой лабораторной работы.

Запуск проверок границы

Скачайте запускаемую лабораторную работу и её контрольную сумму SHA-256 . Нужны Docker Compose v2 и Python 3; дополнительные пакеты Python не требуются. При первом запуске может быть загружен зафиксированный образ.

sha256sum -c retention-lab.tar.gz.sha256
tar -xzf retention-lab.tar.gz
cd retention-lab
sha256sum -c SHA256SUMS
./run.sh

Запуск проверяет порт 19707, запускает проект Compose manticore-article07, выполняет проверки и по завершении удаляет контейнеры и том с данными. Он пересоздаёт обе таблицы лабораторной работы, поэтому используйте только одноразовый экземпляр движка. Если порт занят, выполните ARTICLE07_PORT=19717 ./run.sh (или выберите другой свободный порт). Запускайте только одну копию за раз.

Скрипт подставляет время приложения 2026-10-20 00:00:00 UTC (1792454400), что даёт порог 2026-10-13 00:00:00 UTC (1791849600). Manticore по-прежнему работает по реальным системным часам; во время тестов меняются только часы приложения.

Тестовая записьНачальный результатПосле сдвига заданных вручную часов на одну секунду
ID 1, граница минус одна секундаОтброшена при проверке по времени событияПо-прежнему отсутствует
ID 2, ровно на границеПринятаУдалена; повтор отброшен
ID 3, граница плюс одна секундаПринятаСохранена при новой границе
ID 4, возраст один час, отправлена повторноОдин документ, доступный для поискаСохранён
ID 5, текущее время плюс 301 секундаВ карантинеНе записывалась
ID 6, нецелая метка времениВ карантинеНе записывалась

На границе 20 октября 2026 года порог равен 13 октября, 00:00:00 UTC. Лог от 12 октября, 23:59:59 немедленно отклоняется, а лог с временной меткой ровно на границе принимается. Через одну секунду второе событие истекает, и очистка удаляет его. Следующая доставка также отклоняется. Удалённый лог остаётся удалённым даже после повторной доставки.

Для сравнения в таблице ingestion_control хранится ID 1 со старым временем события, но с новым временем приёма. Удаление по условию ingested_ts < cutoff оставляет его на месте. В этом и состоит разница между двумя политиками хранения.

Другие тесты принимают событие, которое опережает текущее время ровно на 300 секунд, но скрывают его, пока верхняя граница запроса не достигнет его временной метки. События с отсутствующими, логическими и дробными временными метками помещаются в карантин. Повторная отправка ID 4 сдвигает ingested_ts вперёд, не изменяя event_ts.

Принятые ID тестового набора вначале — [2, 3, 4]. После сдвига на секунду приложение выполняет:

DELETE FROM logs WHERE event_ts < 1791849601;

После очистки работающий движок возвращает [3, 4]. Повторная отправка ID 2 отклоняется при проверке допуска, поэтому результат остаётся [3, 4]; ещё одна очистка также ничего не меняет. Суть не только в том, что старое событие было удалено: его повторная отправка не вернула его обратно.

Дубликат INSERT для ID 4 возвращает HTTP 500 с {"error":"duplicate id '4'"}. Это ошибка дублирующегося ID, а не отказ из-за политики хранения. Запуск проверяет тело ошибки и сохраняет его вместе с успешными ответами SQL в evidence/sql.jsonl.

Запросы с учётом окна

До перевода часов вперёд этот запрос находит тайм-ауты API в семидневном интервале по времени события, начиная с самых новых:

SELECT id, message, event_ts, ingested_ts
FROM logs
WHERE MATCH('@message timeout')
  AND service = 'api'
  AND event_ts >= 1791849600
  AND event_ts <= 1792454400
ORDER BY event_ts DESC, id ASC
LIMIT 20;

ID возвращаются как [4, 3, 2]. Через одну секунду используйте 1791849601 и 1792454401 в качестве нижней и верхней границ; ID 2 исчезнет из результата. В сервисе вычисляйте оба значения по одному доверенному показанию часов и безопасно сериализуйте значения запроса. При наличии надёжно сохранённого порога используйте max(persisted_cutoff, now - 604800) для чтения, допуска и очистки. В этой лабораторной работе используются фиксированные значения, а не произвольный текст логов или пользовательский ввод.

Фильтрация по времени события скрывает просроченные строки в поиске, даже если очистка выполняется с задержкой, но не освобождает место на диске. Подтвердите условное DELETE , прочитав строки обратно.

Удаление и место на диске проверяются по-разному

Лабораторная работа сбрасывает на диск два фрагмента, используя повторную отправку ID 4 для создания второго. Она записывает имена файлов и их логические размеры в каталоге таблицы logs до удаления, после удаления и после:

OPTIMIZE TABLE logs OPTION sync=1, cutoff=1;

До удаления общий размер файлов таблицы составлял 266 745 байт, а после компактификации — 133 773 байта. Одно лишь удаление строк не уменьшило размеры этих файлов. Чтение после компактификации по-прежнему вернуло [3, 4].

Это размеры файлов небольшой синтетической таблицы, а не выделенные дисковые блоки, использование всего тома или оценка ёмкости. Бинлоги, резервные копии, логи контейнеров и карантин занимают место в других областях. В архиве сохранены отдельные снимки файлов, чтобы вы могли проверить расчёт.

Руководство по компактификации объясняет порог фрагментов и синхронный режим. Компактификация может создавать значительную нагрузку на ввод-вывод и требовать временного места на диске, поэтому планируйте её с учётом нагрузки и дефицита дискового пространства, а не запускайте после каждого события.

Рекомендации по хранению логов в производственной среде

Загружаемая лабораторная работа выполняет операции последовательно, используя заданные часы приложения. Она демонстрирует правило хранения, но работающему сервису приёма также нужно обрабатывать следующие ситуации:

  • Координируйте приём и очистку. При наличии нескольких рабочих процессов один из них может проверить событие, приостановиться и записать его после того, как другой продвинет очистку. Координируйте проверку допуска, саму запись и очистку как одну защищённую последовательность. Фильтр по времени может скрыть ошибочно вставленную повторно строку, но не предотвратит напрасное расходование места. Прямые записи через SQL в обход проверки допуска создают такой же риск.

  • Делайте порог надёжным и монотонным. Сохраняйте неубывающий порог до удаления по нему и используйте его также для чтения и проверки допуска. Скачок часов назад не должен вновь открывать просроченную историю. Обнаруживайте большие скачки вперёд до продвижения порога, иначе можно безвозвратно удалить корректные данные. Проверяйте и временные метки источника: правдоподобные значения не обязательно достоверны.

  • Надёжно сохраняйте состояние карантина и повторов. В примере временные метки из карантина буферизуются в памяти, а JSON записывается только в конце. В производственной среде используйте надёжную очередь с контролем доступа, политикой истечения срока и процессом проверки или повторной обработки. Определите правила подтверждения получения и восстановления после сбоя для сервиса приёма.

  • Следите за очисткой и ёмкостью. Планируйте очистку, уведомляйте о сбоях и задержках, отслеживайте принятые, отброшенные события и события в карантине. Семидневное окно — не дисковая квота: скорость поступления, размер событий, накладные расходы слияния и задержки очистки по-прежнему определяют расход диска. В этом примере не тестируются пропускная способность и репликация.

Перед развёртыванием удалите просроченное событие, повторно отправьте его через реальный сервис приёма и убедитесь, что оно не появилось снова. Повторите проверку после перезапуска рабочего процесса. Поставляемый тест демонстрирует последовательный сценарий повторной отправки; безопасность после перезапуска в производственной среде также требует надёжно сохранённого порога и согласованных записей, описанных выше.

Главное

Чтобы просроченные логи не возвращались:

  1. Используйте один и тот же порог по времени события для приёма, поиска и очистки.
  2. Проверяйте его перед каждой записью, включая повторы.
  3. Координируйте записи с очисткой, чтобы просроченная строка не могла быть вставлена снова.

Manticore отвечает за хранение и поиск, а приложение обеспечивает соблюдение политики хранения.

Установить Manticore Search

Установите Manticore Search одной командой в Linux или macOS:

curl https://manticoresearch.com | sh

Для расширенных вариантов установки см. полное руководство по установке и документацию .

Установить Manticore Search