执行摘要

我们的性能测试表明，在分析大量Nginx日志数据时，Manticore Search明显优于Elasticsearch，Kibana仪表板渲染速度最高可达3倍。本文展示了性能差异，解释了如何进行自己的比较，并突出了Manticore Search在日志分析工作负载中的主要优势。

介绍

高效分析和可视化大量数据对于许多企业至关重要。本文比较了两种流行搜索引擎，Manticore Search和Elasticsearch，使用基于Nginx日志的相同数据集。

我们的目标是演示Manticore Search如何为处理和可视化大数据集提供高效解决方案。为便于此比较，我们创建了 Manticore Search Kibana Demo ，这是一个公开可用的项目。来自 db-benchmarks.com 的基准测试也突显了Manticore Search对Elasticsearch的卓越性能。

演示项目概述

演示项目利用Kibana作为可视化工具，连接到Elasticsearch和Manticore Search。演示数据集是通过 kscarlett-generator 工具从Nginx日志生成的。

这些可视化受到了一篇流行博文“ 为Nginx日志数据设置Kibana仪表板 ”的启发，使搜索引擎性能的比较变得清晰。

环境设置与运行演示

要设置和运行演示：

1. 确保您已安装 Git 和 Docker Compose 。
2. 克隆存储库并导航到项目目录。

   git clone https://github.com/manticoresoftware/kibana-demo.git
   cd kibana-demo  
   

3. 在使用预构建索引以快速启动或通过修改日志生成器配置生成新数据之间进行选择。有关详细信息，请参见 演示Github存储库 。
4. 根据需要通过更新.env文件来配置环境：
   • 调整日志条目的数量。
   • 自定义数据更新的频率。
   • 为Kibana仪表板设置自定义端口。
5. 通过运行start.sh脚本启动环境。这将设置Docker环境。
6. 访问Kibana仪表板：
   • 对于Elasticsearch，默认 - http://localhost:5612
   • 对于Manticore Search，默认 - http://localhost:5613
7. 使用演示中包含的kibana_objects.ndjson文件导入预构建的Kibana可视化。
8. 探索仪表板以分析Nginx日志数据，并比较Manticore Search和Elasticsearch之间的性能。
9. 通过运行docker-compose down在评估后停止环境。

此设置确保灵活性以适应您的特定需求，同时保持过程简单。

性能比较

此测试的主要重点是Kibana中的仪表板渲染速度。Manticore Search始终优于Elasticsearch，提供显著更快的可视化渲染。

视频演示进一步说明了性能差异。使用超过4600万文档的演示数据集和结合到一个仪表板中的八个不同Kibana可视化，视频比较了Manticore Search与Elasticsearch加载仪表板所需的时间。

在Manticore Search中使用Kibana

加载数据

从Logstash或Filebeat等源加载数据到Manticore Search进行Kibana处理也很简单。请参考Manticore文档中的以下部分以获取指导：

• 与Logstash集成
• 与Filebeat集成

您还可以在此互动教程中探索提供的示例：

• 将Logstash/Beats与Manticore集成

限制与进行中的功能

虽然有一些已知的限制和进行中的功能，例如：

• 对更新的Kibana版本（超过7.6）的支持
• 处理Elasticsearch特定数据类型，如地理数据
• 支持Elasticsearch中可用的索引管理工具，如ILM

这些功能正在积极开发中，以改善兼容性和功能性。

Manticore Search的其他优势

此外，Manticore Search为用户提供了几个显著的优势：

• 高性能，优化快速查询处理，独立基准测试和演示项目均证实了这一点。
• 完整的SQL支持，简化与现有系统的集成，使开发人员更容易上手。
• 实时索引，允许瞬时数据更新，对于动态应用至关重要。
• 列式存储，专为分析查询设计，适合处理像日志文件这样的大数据集。
• 与Elasticsearch相比，轻量和简单的设置，所需资源更少，配置工作量也更小。

结论

Manticore Search proves to be a powerful alternative to Elasticsearch, especially in scenarios requiring fast data processing and visualization. Independent benchmarks and the demo project consistently demonstrate its superior performance, often several times faster than Elasticsearch when handling large datasets.

要亲自体验它的能力，请尝试 Manticore Search Kibana Demo 并探索它如何增强您的数据分析工作流程。