⚠️ 此页面为自动翻译,翻译可能不完美。
blog-post

Manticore Search 32.1.3:直接写盘批量导入与更快的搜索

author image
View as markdown

Manticore Search 32.1.3 让大规模数据加载更快,改进了全文查询和向量查询,并包含大量正确性和可靠性修复。最主要的新功能是支持对本地、分片和复制实时表进行直接写盘批量导入。

本文介绍 29.9.0 之后的变化,涵盖 29.9.1 到 32.1.3。

❤️ 感谢 @tudorvasinca (#4858 、#4924 、#4925 )、@vitlav (#5060 )、@RaphaelFakhri (#5031 )和 @drahy333 (Columnar #217 )所做的贡献。


升级说明

如果不使用复制,则无需执行特殊迁移。 备份数据后正常升级即可。

如果使用复制集群,不要执行滚动升级:新旧版本的 Manticore Search 不能在同一个集群中运行。停止写入,确认各节点已同步,然后逐个干净地关闭节点。记住最后停止的节点。所有节点都停止后进行升级,然后先使用 manticore_new_cluster(systemd)或 searchd --new-cluster 启动最后停止的节点。正常启动其他节点,等待同步完成后再恢复写入。如果整个集群意外关闭,请改为遵循集群恢复指南 。

还有一项变化不太可能影响大多数安装:如果已有的 manticore.json 文件为空,Manticore 现在会拒绝启动。该文件由系统自动维护,用于在实时模式下列出表和集群。此项变化可避免损坏的文件悄悄导致所有表都显示为缺失。如果启动正常,无需进行任何检查。详情请参阅不兼容变更 。


直接写盘批量导入

使用常规 INSERT 或 /bulk 时,文档在 COMMIT 后即可立即搜索。这适用于持续写入,但在加载大型日志归档时,快速完成导入通常比在加载完成前搜索文档更重要。批量导入 解决了这一取舍:Manticore 将数据交给 indexer,由它构建磁盘块,并在 COMMIT 时将磁盘块添加到表中;加载期间不会让新导入的文档可搜索。这样无需将整个批次缓存在 RAM 块中,也能加快数据写入。在一台配备 6 核、12 线程和 16 GB RAM 的服务器上,导入 1,000 万条 nginx 日志记录时,常规 /bulk 耗时 254 秒,bulk_import 约耗时 164 秒,而 shared=8 仅耗时 71 秒。下图展示了不同数据集大小下的吞吐量。对于本地实时表,SQL 流程如下:

不同数据集大小下 nginx 日志的批量导入吞吐量:常规 bulk、bulk_import 和 shared=8

SET bulk_import=products;
INSERT INTO products(id, title, price) VALUES
  (101, 'Notebook', 12.50),
  (102, 'Desk lamp', 24.00);
COMMIT;
SET bulk_import=0;

导入 1,000 万条日志记录,以及减少磁盘块所需的额外 OPTIMIZE 时间

bulk_import 也支持通过 HTTP /bulk 端点使用。使用 shared 时,并发客户端会向共享的 indexer 进程池提供数据,同时支持自动生成文档 ID。另一个好处是导入完成后的工作更少:在相同测试中,常规 /bulk 留下了 17 个磁盘块和 1 个 RAM 块,将它们合并为一个块还需要约 197 秒的额外 OPTIMIZE 时间。单次提交的 bulk_import 会立即生成一个磁盘块,而 shared=8 会生成八个。上图包含了这部分额外优化时间。新的 bulk_import 模式不仅支持本地实时表,还支持分片表 和复制表 。 协调节点会将文档路由到各个分片,构建好的磁盘块则会分发给副本,无需先导入单独的本地表。

批量导入期间,受影响的表会被有意保留用于写入;搜索可以继续进行。在生产环境中使用前,请查看文档 ,了解提交、清理和失败处理行为。


更快的全文搜索和向量搜索

问题 #5110 中跟踪的全文优化 减少了多种查询路径上的工作量,无需更改索引格式:

  • 符合条件的单词 COUNT(*) 查询可以使用词典计数,而更复杂的计数查询可以跳过排序。
  • 符合条件的 OR/AND 计数查询和无排序查询会处理 4,096 行的位图窗口,并使用自适应匹配和针对 CPU 优化的 SIMD 加速。
  • 更快的倒排列表解码和预取减少了读取开销。匹配整个块的过滤器可以跳过,GROUP BY 可以预取 blob 数据。
  • access_doclists 和 access_hitlists 现在默认使用 mmap。将它们设置为 file 可保留缓冲读取行为。

向量搜索也改进了重新排序预取,包括按行存储;改进了 FLUSH RAMCHUNK 期间并行构建 HNSW 的效率;并优化了带过滤条件的 KNN 查询。这些变化影响不同类型的工作负载,因此给出单一的加速数据会产生误导。

性能基准测试结果

我们在 db-benchmarks 中对比了 29.9.0 和 32.1.2 版本,使用 110 GB 内存限制以及按行存储和列式存储。三个数据集覆盖不同的工作负载:Hacker News 包含超过 1 亿条评论,用于全文查询和分析查询;Logs10m 包含 1,000 万条 nginx 访问日志记录,用于典型的日志分析查询;Taxi 包含 17 亿条纽约市出租车和网约车行程记录,主要用于分析查询。下面的数值是查询延迟的快速平均值(越低越好)。

五张截图展示的是单条查询结果,并不代表所有查询都获得了同等程度的加速。我们只在基准测试将差异标记为红色时强调改进;浅粉色差异可能只是测量噪声。这并不意味着每条查询或每个数据集都变快了。

Hacker News:重点查询最高加速 1.86 倍

在调优后的列式测试中,match('abc -google') 从 13 ms 降至 7 ms(1.86 倍)。带过滤条件的分组查询从 15 ms 降至 11 ms(1.36 倍)。在调优后的按行存储中,同一个否定全文查询从 12 ms 降至 7 ms(1.71 倍),按故事作者分组并按计数排序的查询则从 576 ms 降至 482 ms(1.20 倍)。

Hacker News 基准测试对比:调优后的列式存储,Manticore 29.9.0 与 32.1.2

调优后的列式 HN 基准测试——29.9.0 和 32.1.2 的查询延迟(110 GB 配置)。

Hacker News 基准测试对比:调优后的按行存储,Manticore 29.9.0 与 32.1.2

调优后的按行 HN 基准测试——29.9.0 和 32.1.2 的查询延迟(110 GB 配置)。

两个版本中,许多简单的 HN 查询仍保持在 1–3 ms。红色高亮结果之外的小幅差异不足以证明性能发生了变化。

Logs10m:按行分组的提升最大

对于按行存储的日志数据,按 request_path 分组并按计数排序的耗时从 221 ms 降至 121 ms(1.83 倍)。按平均运行时间对类似分组进行排序的耗时从 238 ms 降至 137 ms(1.74 倍)。

Logs10m 基准测试对比:按行存储,Manticore 29.9.0 与 32.1.2

按行 Logs10m 基准测试——29.9.0 和 32.1.2 的查询延迟(110 GB 配置)。

使用列式存储时,GROUP BY status 聚合从 27 ms 降至 24 ms(1.13 倍)。其他大多数结果都足够接近,因此我们不会据此得出结论。

Logs10m 基准测试对比:列式存储,Manticore 29.9.0 与 32.1.2

列式 Logs10m 基准测试——29.9.0 和 32.1.2 的查询延迟(110 GB 配置)。

Taxi:更快的全文匹配和聚合

在调优后的列式存储中,MATCH('harlem east') 从 255 ms 降至 172 ms(1.48 倍),对整张表计算 AVG(total_amount) 的耗时从 2,591 ms 降至 2,136 ms(1.21 倍)。多个分组聚合也有红色高亮的性能提升。

Taxi 基准测试对比:调优后的列式存储,Manticore 29.9.0 与 32.1.2

调优后的列式 Taxi 基准测试——29.9.0 和 32.1.2 的查询延迟(110 GB 配置)。

结论: 基准测试显示,部分全文查询和分组查询有明显改进,尤其是在 HN 和按行存储的 Logs10m 中。未高亮或浅粉色的小幅差异不足以证明存在加速或性能回退。实际结果取决于查询形式、内存限制和存储布局。


混合搜索、嵌入与更准确的结果

混合搜索 现在支持在全文候选结果和 KNN 候选结果融合后的集合上进行分面统计。SQL FACET 和 JSON 聚合可以统计混合搜索结果中的匹配类别,而不只是 LIMIT 返回的少数几行。

自动分块的嵌入结果可以突出显示与向量查询匹配的具体文本块,从而更容易理解长文档为何出现在结果中。

此外还包含大量正确性修复。JSON 和多值过滤器在二级索引、列式存储和按行存储、SQL 及 HTTP 中的行为现在更加一致。修复涵盖 ANY()、ALL()、范围过滤和排除过滤,以及 COUNT(DISTINCT)。如果你在这些修复之前构建了 JSON 二级索引,部分受影响的索引可能需要执行 ALTER TABLE ... REBUILD SECONDARY ,以修正其中存储的值。


可靠性改进

以下几项修复对生产部署尤其重要:

  • Executor 1.4.9 带来了 PHP 8.5.13 的安全修复。(PR #5121 )
  • 断电后更安全地保存表和集群注册表(manticore.json)。
  • 改进复制加入、状态传输以及完整关闭后的集群启动可靠性。
  • 修复并发刷新期间的 percolate 查询写入和元数据竞争问题。
  • 修正伪分片下的缓存查询结果,并修复部分列式搜索和混合搜索崩溃问题。
  • 改进后台工作期间发生崩溃时的诊断,并修复 FREEZE、index_converter 以及部分 MySQL 协议边界情况。

完整变更列表请参阅 32.1.3 更新日志 。


获取 Manticore Search 32.1.3

请按照安装指南 进行安装或升级。如果使用复制,请在重启集群前遵循上面的升级说明。

需要帮助或想与我们联系?

安装Manticore Search

在 Linux 或 macOS 上用一条命令安装 Manticore Search:

curl https://manticoresearch.com | sh

有关高级安装选项,请参阅完整安装指南 和手册 。

安装Manticore Search