⚠️ 此页面为自动翻译,翻译可能不完美。
blog-post

Manticore Search 中的日志保留:处理迟到事件和重放

author image
View as markdown

基本的日志保留策略会删除旧日志,这部分很简单。但要确保它们不会再次出现,就困难得多。日志转发器在中断后重新连接,并重新发送清理任务已经删除的事件。如果在写入时不进行检查,这些过期日志就可能重新出现在搜索结果中。

本文介绍如何在自托管的 Manticore 实时(RT)表中,通过一个由写入和删除共同使用的七天事件时间截止点来避免这个问题。示例可以直接运行:你可以检查 SQL 响应,并观察重放过期事件时会发生什么。

我们的 Fluent Bit 集成 介绍了如何将日志发送到 Manticore,而 OpenSearch Dashboards 集成 则展示了如何浏览这些日志。本文重点讨论迟到事件和重试,而不是批量加载历史日志。

为什么 Manticore 适合这一工作流

同一个 RT 表可以处理全文搜索、时间戳过滤、按文档 ID 重试以及删除操作。Manticore 提供 SQL 操作;写入应用决定哪些内容属于保留窗口。你不需要仅仅为了查询这些示例日志而创建单独的索引。

工作流环节本示例中的处理方
搜索日志消息并按时间戳过滤Manticore SQL
替换相同文档 ID 的重试记录Manticore REPLACE
删除过期文档Manticore DELETE
合并磁盘数据块Manticore OPTIMIZE
分配稳定 ID 并拒绝冲突的负载日志源 / 应用
在每次写入时执行事件时间截止规则应用
安排清理、协调写入方并处理隔离数据应用

这就是本文展示的工作分工,而不是内置的保留策略调度器。

事件时间与摄入时间

event_ts 来自日志源;ingested_ts 记录应用接受该日志的时间。两者都是整数形式的 UTC epoch 秒数。

按写入时间保留会让迟到日志在到达时获得一个新的七天窗口。按事件时间保留则可以在日志已经过旧时立即拒绝它。我们使用事件时间,因为搜索应覆盖事件发生的时间,而不是事件到达服务器的时间。

每个操作都会串行运行,并计算 cutoff = now - 604800。我们保留时间正好位于截止点的事件,只删除早于截止点的事件。以下是接收策略:

输入动作原因
整数事件时间早于截止时间丢弃,不进入搜索流程已在所选窗口之外
整数事件时间不早于截止时间,且比当前时间超前不超过 300 秒接受窗口内的迟到事件仍有价值
时间缺失、不是整数,或超前超过 300 秒隔离检查时间戳或数据源时钟

300 秒的容差是应用设置。被接受的未来事件在其时间戳到达之前不会出现在有时间范围限制的搜索中。在本实验中,被隔离的时间戳会保存在内存中,直到最后写入 JSON 文件;如果发生崩溃,这些数据可能会丢失。正如下面所述,生产环境中的写入服务需要持久化隔离区。请将丢弃的事件与 SQL 错误分开记录。

准入与清理共用同一个截止时间;过期的重放事件不会进入表中。

Manticore 执行 SQL 写入、搜索和删除操作。应用决定哪些事件可以接受,以及何时运行清理。示例没有配置自动 TTL 或每日分区。

一个可搜索的小型表结构

本实验运行 Manticore 29.9.0,并固定使用 Docker 摘要 sha256:461b419739a2bbbffb4be0b32db26c41d7b435bf7fd1fce95b414ca5ccbb3775。其隔离容器限制为一个 CPU、1 GiB 内存,并且 HTTP 端口仅绑定到回环地址。

CREATE TABLE logs (
  message text,
  service string,
  event_ts timestamp,
  ingested_ts timestamp
);

message 支持全文搜索,时间戳则支持数值过滤。每个事件都会获得一个在 Manticore 支持范围内稳定、全局唯一的正整数 ID。在本实验的事件不可变契约下,每次重试都使用相同的 ID:

REPLACE INTO logs
  (id, message, service, event_ts, ingested_ts)
VALUES
  (4, 'gateway timeout', 'api', 1792450800, 1792454400);

REPLACE 会为相同的重试更新同一行,只保留一个可搜索副本。这并不等同于恰好一次投递。被接受的重试会刷新 ingested_ts,因此它不是首次发现时间。使用不同内容复用某个 ID 会覆盖旧事件:REPLACE 不会比较负载内容。请确保不同来源之间的 ID 唯一,并在上游拒绝冲突的负载。

在每次 REPLACE 之前都要检查接收规则,包括重试。否则,已删除的过期事件可能会再次以相同 ID 写入。我们在捆绑实验之外,直接对 Manticore 29.9.0 执行 REPLACE,确认了这一点。

运行边界检查

下载可运行的实验 及其 SHA-256 校验和 。它需要 Docker Compose v2 和 Python 3,不需要额外的 Python 软件包。首次运行时可能会下载固定版本的镜像。

sha256sum -c retention-lab.tar.gz.sha256
tar -xzf retention-lab.tar.gz
cd retention-lab
sha256sum -c SHA256SUMS
./run.sh

运行器会检查端口 19707,启动 Compose 项目 manticore-article07,运行断言,并在完成后删除容器和数据卷。它会重新创建两个实验表,因此只能使用可丢弃的引擎。如果端口已被占用,请运行 ARTICLE07_PORT=19717 ./run.sh(或选择其他空闲端口)。一次只运行一个副本。

脚本会注入应用时间 2026-10-20 00:00:00 UTC(1792454400),从而得到截止时间 2026-10-13 00:00:00 UTC(1791849600)。Manticore 仍使用真实的系统时钟运行;测试期间只有应用时钟会推进。

测试数据集初始结果注入时钟前进一秒后
ID 1,截止时间减一秒被事件时间准入丢弃仍不存在
ID 2,恰好等于截止时间接受已删除;重放被丢弃
ID 3,截止时间加一秒接受在新截止时间下保留
ID 4,一小时前的事件,被重放一个可搜索的文档保留
ID 5,当前时间加 301 秒隔离从未写入
ID 6,非整数时间戳隔离从未写入

在 2026 年 10 月 20 日这一边界时刻,截止时间是 10 月 13 日 00:00:00 UTC。10 月 12 日 23:59:59 的日志会立即被拒绝,而时间戳正好等于截止时间的日志会被接受。一秒钟后,第二个事件也会过期,清理操作会将其删除。再次投递时,它同样会被拒绝。已删除的日志会保持删除状态,即使被重放也不会回来。

作为对照,ingestion_control 表保存了 ID 1,其事件时间较早,但写入时间较新。基于 ingested_ts < cutoff 的删除会将它保留下来。这就是两种保留策略之间的区别。

其他测试会接受一个恰好提前 300 秒的未来事件,但在查询上限达到其时间戳之前不会显示它。缺失、布尔类型和小数类型的时间戳会被隔离。重试 ID 4 会推进 ingested_ts,但不会改变 event_ts。

测试数据集中被接受的 ID 起初是 [2, 3, 4]。前进一秒后,应用执行:

DELETE FROM logs WHERE event_ts < 1791849601;

清理后,运行中的引擎返回 [3, 4]。重放 ID 2 会在接收检查阶段被拒绝,因此结果仍为 [3, 4];再次清理也不会改变结果。重点不仅在于旧事件已被删除,还在于重放它并没有让它重新出现。

对 ID 4 执行重复的 INSERT 会返回 HTTP 500,响应为 {"error":"duplicate id '4'"}。这是重复 ID 错误,而不是保留策略拒绝。运行器会检查错误响应体,并将其与成功的 SQL 响应一起存储在 evidence/sql.jsonl 中。

遵守时间窗口的查询

在推进时钟之前,以下查询会在七天的事件时间窗口内查找 API 超时,并按最新时间优先返回:

SELECT id, message, event_ts, ingested_ts
FROM logs
WHERE MATCH('@message timeout')
  AND service = 'api'
  AND event_ts >= 1791849600
  AND event_ts <= 1792454400
ORDER BY event_ts DESC, id ASC
LIMIT 20;

返回的 ID 为 [4, 3, 2]。一秒钟后,使用 1791849601 和 1792454401 作为下限和上限;ID 2 会被排除。在服务中,应从同一次可信时钟读取中计算这两个值,并安全地序列化查询值。如果截止点已持久化,请在读取、接收和清理时使用 max(persisted_cutoff, now - 604800)。本实验使用固定值,而不是任意日志文本或用户输入。

按事件时间过滤可以在清理延迟运行时仍将过期行隐藏在搜索结果之外,但不会释放磁盘空间。请通过读回这些行来确认 条件 DELETE 的结果。

删除与磁盘空间需要分别检查

实验会刷新两个磁盘数据块,第二个数据块通过重放 ID 4 创建。它会在删除前、删除后以及执行以下操作后,记录 logs 表目录中的文件名和逻辑长度:

OPTIMIZE TABLE logs OPTION sync=1, cutoff=1;

删除前,表文件总计 266,745 字节;合并后为 133,773 字节。仅删除行并不会减少这些文件的大小。合并后的读回结果仍为 [3, 4]。

这些是一个很小的合成表的文件长度,不是已分配的磁盘块、整个卷的使用量或容量估算。Binlog、备份、容器日志和隔离数据会占用其他位置的空间。归档中保留了各个文件的采集结果,因此你可以核对计算过程。

合并手册 介绍了数据块截止点和同步选项。合并可能消耗大量 I/O 和临时磁盘空间,因此应根据工作负载和磁盘压力安排,而不是在每个事件后运行。

生产环境中的日志保留最佳实践

可下载的实验会使用注入的应用时钟,一次运行一个操作。它演示了保留规则,但实际的写入服务还需要处理以下情况:

  • 协调写入和清理。 使用多个工作进程时,一个进程可能验证事件后暂停,而另一个进程已经推进了清理,随后前一个进程才写入事件。应将接收检查、实际写入和清理协调为一个受保护的操作序列。时间过滤可以隐藏错误重新插入的行,但无法避免存储浪费。绕过接收检查的直接 SQL 写入也存在同样的风险。

  • 让截止点持久化且单调递增。 在依据截止点删除数据之前,先持久化一个不可递减的截止点,并在读取和接收时也使用它。时钟回拨不得重新打开已过期的历史数据。在推进截止点之前检测较大的时钟前跳,否则可能永久删除有效数据。同时检查来源时间戳:时间看似合理并不代表它真实可信。

  • 让隔离区和重试状态持久化。 示例会将隔离的时间戳缓存在内存中,并只在最后写入 JSON。生产环境应使用具有访问控制、过期策略以及审核或重放流程的持久化队列。为写入服务定义确认和崩溃恢复行为。

  • 监控清理和容量。 安排清理任务,针对失败和延迟设置告警,并监控已接受、已丢弃和已隔离的事件。七天窗口不是磁盘配额:到达速率、事件大小、合并开销和清理延迟仍然决定磁盘使用量。本示例不测试吞吐量或复制。

部署前,请删除一个过期事件,通过真实的写入服务重放它,并确认它仍然不存在。工作进程重启后也要重复验证。捆绑测试演示了串行重放场景;生产环境的重启安全性还需要依赖上文所述的持久化截止点和协调写入。

总结

要防止过期日志重新出现:

  1. 对写入、搜索和清理使用相同的事件时间截止点。
  2. 在每次写入前检查该截止点,包括重试。
  3. 协调写入与清理,确保过期行无法再次插入。

Manticore 负责存储和搜索;应用负责执行日志保留策略。

安装Manticore Search

在 Linux 或 macOS 上用一条命令安装 Manticore Search:

curl https://manticoresearch.com | sh

有关高级安装选项,请参阅完整安装指南 和手册 。

安装Manticore Search