
14× 更快的嵌入:我们如何重构 Manticore 的 ONNX 路径
随 Manticore Search 27.1.5 发布的新 ONNX Runtime 后端,在相同硬件、相同模型、相同权重下,让自动 embeddings 的速度平均比之前的 SentenceTransformers/Candle 路径快约 14 倍,而且无论你运行 1 个客户端线程还是 32 个,这个优势都成立。.

随 Manticore Search 27.1.5 发布的新 ONNX Runtime 后端,在相同硬件、相同模型、相同权重下,让自动 embeddings 的速度平均比之前的 SentenceTransformers/Candle 路径快约 14 倍,而且无论你运行 1 个客户端线程还是 32 个,这个优势都成立。.

在 systemd 下运行 Manticore Search,获得更准确的状态报告、更干净的重载、基于 journal 的日志,以及针对 RT 工作负载更安全的关闭。.

三项优化将HNSW向量搜索速度提升最高达29%:重构图遍历以提高缓存利用率、批量距离计算以及AVX-512支持。.

Manticore Search 27.1.5 增加了内置认证与授权,引入了分片表,新增对话式搜索,加快了向量搜索,改进了分面与聚合,并包含自 25.0.0 以来的 65 个修复。.

Manticore 如何检测 HNSW 搜索何时收敛并提前停止,从而在最小精度损失的情况下将距离计算减少 50-80%。.

经典全文搜索中类似此内容的工作原理,嵌入式向量如何改变,以及为什么这种查找方式在搜索引擎内部更便捷。.