---
title: "Хранение логов в Manticore Search: обработка запоздалых событий и повторной доставки"
description: "Как создать политику хранения логов по времени события, которая не позволяет просроченным логам появляться снова, с запускаемым примером для Manticore, охватывающим запоздалые события, повторы и очистку."
date: 2026-11-17
author: "Dmitrii Kuzmenkov"
image: https://manticoresearch.com/images/blog/log-retention-late-events.png
lang: ru
url: https://manticoresearch.com/ru/blog/log-retention-late-events/
translations:
  en: https://manticoresearch.com/blog/log-retention-late-events/
  zh: https://manticoresearch.com/zh/blog/log-retention-late-events/
---

# Хранение логов в Manticore Search: обработка запоздалых событий и повторной доставки

Как создать политику хранения логов по времени события, которая не позволяет просроченным логам появляться снова, с запускаемым примером для Manticore, охватывающим запоздалые события, повторы и очистку.

Базовая политика хранения логов удаляет старые записи. Это легко. Сложнее убедиться, что они остаются удалёнными. После сбоя сборщик логов переподключается и повторно отправляет события, которые задание очистки уже удалило. Без проверки при приёме эти просроченные логи могут снова появиться в поиске.

В этой статье показано, как избежать проблемы с помощью семидневного порога по времени события, общего для приёма и удаления, в самостоятельно размещённой таблице Manticore реального времени (RT). Пример можно запустить: вы сможете проверить ответы SQL и увидеть, что происходит при повторной доставке просроченного события.

В нашей статье об [интеграции Fluent Bit](/blog/integration-of-manticore-with-fluentbit/) объясняется, как отправлять логи в Manticore, а [интеграция с OpenSearch Dashboards](/blog/manticore-opensearch-dashboards-integration/) показывает, как их просматривать. Эта статья посвящена запоздалым событиям и повторам, а не массовой загрузке исторических логов.

## Почему Manticore подходит для этого процесса

Одна и та же RT-таблица обрабатывает полнотекстовый поиск, фильтрацию по временным меткам, повторы по ID документа и удаление. Manticore предоставляет операции SQL, а приложение приёма решает, какие события входят в сохраняемый интервал. Для запросов к этим примерам логов не нужен отдельный индекс.

| Этап процесса | Кто отвечает за него в этом примере |
| --- | --- |
| Поиск сообщений в логах и фильтрация по временной метке | SQL Manticore |
| Замена повторов для одного ID документа | Manticore `REPLACE` |
| Удаление просроченных документов | Manticore `DELETE` |
| Компактификация фрагментов на диске | Manticore `OPTIMIZE` |
| Назначение стабильных ID и отклонение конфликтующих полезных нагрузок | Источник логов / приложение |
| Проверка порога по времени события при каждой записи | Приложение |
| Планирование очистки, координация записывающих процессов и обработка карантина | Приложение |

Именно так распределены обязанности в этой статье; встроенного планировщика хранения здесь нет.

## Время события и время приёма

`event_ts` поступает из источника логов, а `ingested_ts` фиксирует момент, когда наше приложение приняло доставку. Оба значения представляют собой целые секунды эпохи UTC.

Хранение по времени приёма даёт запоздалому логу новый семидневный интервал после поступления. Хранение по времени события позволяет немедленно отклонить его, если он уже слишком старый. Мы используем время события, поскольку поиск должен охватывать момент, когда события произошли, а не момент их поступления на сервер.

Каждая операция выполняется последовательно и вычисляет `cutoff = now - 604800`. Мы сохраняем события **на границе** порога и удаляем только те, что старше него. Вот политика допуска:

| Входные данные | Действие | Причина |
| --- | --- | --- |
| Целое время события меньше границы | Отбросить: в поиск не попадёт | Уже за пределами выбранного окна |
| Целое время события не меньше границы и опережает текущее время не более чем на 300 секунд | Принять | Опоздавшие события внутри окна остаются полезными |
| Время отсутствует, не целое или опережает текущее время больше чем на 300 секунд | Карантин | Проверить метку времени или часы источника |

Допуск в 300 секунд — это настройка приложения. Принятые события из будущего не попадают в поиск с ограничением по времени, пока не наступит указанная в них временная метка. В этой лабораторной работе временные метки из карантина хранятся в памяти до записи JSON-файла в конце; при сбое они могут быть потеряны. Производственному сервису приёма нужен надёжный карантин, как описано ниже. Отслеживайте отброшенные события отдельно от ошибок SQL.

![Приём и очистка используют одну границу; просроченный повтор в таблицу не попадает.](./log-retention-late-events/retention-policy.png)

Manticore выполняет записи, поиск и удаление через SQL. Приложение решает, какие события разрешены и когда запускать очистку. В примере не настраиваются автоматический TTL или ежедневные секции.

## Небольшая схема с поиском

В лабораторной работе используется Manticore 29.9.0, зафиксированный по Docker digest `sha256:461b419739a2bbbffb4be0b32db26c41d7b435bf7fd1fce95b414ca5ccbb3775`. Изолированному контейнеру выделены один процессор, 1 ГиБ памяти и HTTP-порт, доступный только через loopback.

```sql
CREATE TABLE logs (
  message text,
  service string,
  event_ts timestamp,
  ingested_ts timestamp
);
```

`message` поддерживает полнотекстовый поиск, а временные метки позволяют выполнять числовую фильтрацию. Каждое событие получает стабильный глобально уникальный положительный целочисленный ID в пределах диапазона, поддерживаемого Manticore. В рамках **контракта неизменяемых событий** каждый повтор использует тот же ID:

```sql
REPLACE INTO logs
  (id, message, service, event_ts, ingested_ts)
VALUES
  (4, 'gateway timeout', 'api', 1792450800, 1792454400);
```

[REPLACE](https://manual.manticoresearch.com/Data_creation_and_modification/Updating_documents/REPLACE) обновляет ту же строку при идентичных повторах, оставляя одну доступную для поиска копию. Это не означает доставку «ровно один раз». Принятый повтор обновляет `ingested_ts`, поэтому это не временная метка первого получения. Повторное использование ID с другим содержимым перезаписывает старое событие: REPLACE не сравнивает полезные нагрузки. Делайте ID уникальными для всех источников и отклоняйте конфликтующие полезные нагрузки до передачи в основную систему.

Проверяйте допуск **перед каждым REPLACE**, включая повторы. Иначе удалённое просроченное событие можно снова записать под тем же ID. Мы подтвердили это прямым `REPLACE` в Manticore 29.9.0 вне поставляемой лабораторной работы.

## Запуск проверок границы

[Скачайте запускаемую лабораторную работу](./log-retention-late-events/retention-lab.tar.gz) и её [контрольную сумму SHA-256](./log-retention-late-events/retention-lab.tar.gz.sha256). Нужны Docker Compose v2 и Python 3; дополнительные пакеты Python не требуются. При первом запуске может быть загружен зафиксированный образ.

```sh
sha256sum -c retention-lab.tar.gz.sha256
tar -xzf retention-lab.tar.gz
cd retention-lab
sha256sum -c SHA256SUMS
./run.sh
```

Запуск проверяет порт 19707, запускает проект Compose `manticore-article07`, выполняет проверки и по завершении удаляет контейнеры и том с данными. Он пересоздаёт обе таблицы лабораторной работы, поэтому используйте только одноразовый экземпляр движка. Если порт занят, выполните `ARTICLE07_PORT=19717 ./run.sh` (или выберите другой свободный порт). Запускайте только одну копию за раз.

Скрипт подставляет время приложения `2026-10-20 00:00:00 UTC` (`1792454400`), что даёт порог `2026-10-13 00:00:00 UTC` (`1791849600`). Manticore по-прежнему работает по реальным системным часам; во время тестов меняются только часы приложения.

| Тестовая запись | Начальный результат | После сдвига заданных вручную часов на одну секунду |
| --- | --- | --- |
| ID 1, граница минус одна секунда | Отброшена при проверке по времени события | По-прежнему отсутствует |
| ID 2, ровно на границе | Принята | Удалена; повтор отброшен |
| ID 3, граница плюс одна секунда | Принята | Сохранена при новой границе |
| ID 4, возраст один час, отправлена повторно | Один документ, доступный для поиска | Сохранён |
| ID 5, текущее время плюс 301 секунда | В карантине | Не записывалась |
| ID 6, нецелая метка времени | В карантине | Не записывалась |

На границе **20 октября 2026 года** порог равен **13 октября, 00:00:00 UTC**. Лог от 12 октября, 23:59:59 немедленно отклоняется, а лог с временной меткой ровно на границе принимается. Через одну секунду второе событие истекает, и очистка удаляет его. Следующая доставка также отклоняется. **Удалённый лог остаётся удалённым даже после повторной доставки.**

Для сравнения в таблице `ingestion_control` хранится ID 1 со старым временем события, но с новым временем приёма. Удаление по условию `ingested_ts < cutoff` оставляет его на месте. В этом и состоит разница между двумя политиками хранения.

Другие тесты принимают событие, которое опережает текущее время ровно на 300 секунд, но скрывают его, пока верхняя граница запроса не достигнет его временной метки. События с отсутствующими, логическими и дробными временными метками помещаются в карантин. Повторная отправка ID 4 сдвигает `ingested_ts` вперёд, не изменяя `event_ts`.

Принятые ID тестового набора вначале — `[2, 3, 4]`. После сдвига на секунду приложение выполняет:

```sql
DELETE FROM logs WHERE event_ts < 1791849601;
```

После очистки работающий движок возвращает `[3, 4]`. Повторная отправка ID 2 отклоняется при проверке допуска, поэтому результат остаётся `[3, 4]`; ещё одна очистка также ничего не меняет. Суть не только в том, что старое событие было удалено: его повторная отправка не вернула его обратно.

Дубликат `INSERT` для ID 4 возвращает HTTP `500` с `{"error":"duplicate id '4'"}`. Это ошибка дублирующегося ID, а не отказ из-за политики хранения. Запуск проверяет тело ошибки и сохраняет его вместе с успешными ответами SQL в `evidence/sql.jsonl`.

## Запросы с учётом окна

До перевода часов вперёд этот запрос находит тайм-ауты API в семидневном интервале по времени события, начиная с самых новых:

```sql
SELECT id, message, event_ts, ingested_ts
FROM logs
WHERE MATCH('@message timeout')
  AND service = 'api'
  AND event_ts >= 1791849600
  AND event_ts <= 1792454400
ORDER BY event_ts DESC, id ASC
LIMIT 20;
```

ID возвращаются как `[4, 3, 2]`. Через одну секунду используйте `1791849601` и `1792454401` в качестве нижней и верхней границ; ID 2 исчезнет из результата. В сервисе вычисляйте оба значения по одному доверенному показанию часов и безопасно сериализуйте значения запроса. При наличии надёжно сохранённого порога используйте `max(persisted_cutoff, now - 604800)` для чтения, допуска и очистки. В этой лабораторной работе используются фиксированные значения, а не произвольный текст логов или пользовательский ввод.

Фильтрация по времени события скрывает просроченные строки в поиске, даже если очистка выполняется с задержкой, но не освобождает место на диске. Подтвердите [условное DELETE](https://manual.manticoresearch.com/Data_creation_and_modification/Deleting_documents), прочитав строки обратно.

## Удаление и место на диске проверяются по-разному

Лабораторная работа сбрасывает на диск два фрагмента, используя повторную отправку ID 4 для создания второго. Она записывает имена файлов и их логические размеры в каталоге таблицы `logs` до удаления, после удаления и после:

```sql
OPTIMIZE TABLE logs OPTION sync=1, cutoff=1;
```

До удаления общий размер файлов таблицы составлял 266 745 байт, а после компактификации — 133 773 байта. Одно лишь удаление строк не уменьшило размеры этих файлов. Чтение после компактификации по-прежнему вернуло `[3, 4]`.

Это размеры файлов небольшой синтетической таблицы, а не выделенные дисковые блоки, использование всего тома или оценка ёмкости. Бинлоги, резервные копии, логи контейнеров и карантин занимают место в других областях. В архиве сохранены отдельные снимки файлов, чтобы вы могли проверить расчёт.

[Руководство по компактификации](https://manual.manticoresearch.com/Securing_and_compacting_a_table/Compacting_a_table) объясняет порог фрагментов и синхронный режим. Компактификация может создавать значительную нагрузку на ввод-вывод и требовать временного места на диске, поэтому планируйте её с учётом нагрузки и дефицита дискового пространства, а не запускайте после каждого события.

## Рекомендации по хранению логов в производственной среде

Загружаемая лабораторная работа выполняет операции последовательно, используя заданные часы приложения. Она демонстрирует правило хранения, но работающему сервису приёма также нужно обрабатывать следующие ситуации:

- **Координируйте приём и очистку.** При наличии нескольких рабочих процессов один из них может проверить событие, приостановиться и записать его после того, как другой продвинет очистку. Координируйте проверку допуска, саму запись и очистку как одну защищённую последовательность. Фильтр по времени может скрыть ошибочно вставленную повторно строку, но не предотвратит напрасное расходование места. Прямые записи через SQL в обход проверки допуска создают такой же риск.

- **Делайте порог надёжным и монотонным.** Сохраняйте неубывающий порог до удаления по нему и используйте его также для чтения и проверки допуска. Скачок часов назад не должен вновь открывать просроченную историю. Обнаруживайте большие скачки вперёд до продвижения порога, иначе можно безвозвратно удалить корректные данные. Проверяйте и временные метки источника: правдоподобные значения не обязательно достоверны.

- **Надёжно сохраняйте состояние карантина и повторов.** В примере временные метки из карантина буферизуются в памяти, а JSON записывается только в конце. В производственной среде используйте надёжную очередь с контролем доступа, политикой истечения срока и процессом проверки или повторной обработки. Определите правила подтверждения получения и восстановления после сбоя для сервиса приёма.

- **Следите за очисткой и ёмкостью.** Планируйте очистку, уведомляйте о сбоях и задержках, отслеживайте принятые, отброшенные события и события в карантине. Семидневное окно — не дисковая квота: скорость поступления, размер событий, накладные расходы слияния и задержки очистки по-прежнему определяют расход диска. В этом примере не тестируются пропускная способность и репликация.

Перед развёртыванием удалите просроченное событие, повторно отправьте его через реальный сервис приёма и убедитесь, что оно не появилось снова. Повторите проверку после перезапуска рабочего процесса. Поставляемый тест демонстрирует последовательный сценарий повторной отправки; безопасность после перезапуска в производственной среде также требует надёжно сохранённого порога и согласованных записей, описанных выше.

## Главное

Чтобы просроченные логи не возвращались:

1. Используйте один и тот же порог по времени события для приёма, поиска и очистки.
2. Проверяйте его перед каждой записью, включая повторы.
3. Координируйте записи с очисткой, чтобы просроченная строка не могла быть вставлена снова.

Manticore отвечает за хранение и поиск, а приложение обеспечивает соблюдение политики хранения.
