कार्यकारी सारांश

हमारा प्रदर्शन परीक्षण दर्शाता है कि Manticore Search Nginx लॉग डेटा की बड़ी मात्रा का विश्लेषण करते समय Elasticsearch की तुलना में काफी बेहतर प्रदर्शन करता है, जिसमें Kibana डैशबोर्ड रेंडरिंग गति 3x तेज है। यह लेख प्रदर्शन के अंतर को प्रदर्शित करता है, बताता है कि अपनी तुलना कैसे करें, और लॉग विश्लेषण कार्यभार के लिए Manticore Search के मुख्य लाभों को उजागर करता है।

परिचय

बड़ी मात्रा में डेटा का कुशलतापूर्वक विश्लेषण और दृश्यण कई व्यवसायों के लिए महत्वपूर्ण है। यह लेख Nginx लॉग पर आधारित समान डेटा सेट का उपयोग करके दो लोकप्रिय सर्च इंजनों, Manticore Search और Elasticsearch, के प्रदर्शन की तुलना करता है।

उद्देश्य यह प्रदर्शित करना है कि Manticore Search बड़े डेटा सेट को प्रोसेस और विज़ुअलाइज़ करने के लिए एक कुशल समाधान प्रदान करता है। इस तुलना को सुविधाजनक बनाने के लिए, हमने Manticore Search Kibana Demo का निर्माण किया, जो एक सार्वजनिक रूप से उपलब्ध प्रोजेक्ट है। db-benchmarks.com की बेंचमार्क भी Elasticsearch की तुलना में Manticore Search के श्रेष्ठ प्रदर्शन को उजागर करती हैं।

डेमो प्रोजेक्ट का अवलोकन

डेमो प्रोजेक्ट Kibana को विज़ुअलाइज़ेशन टूल के रूप में उपयोग करता है, जो Elasticsearch और Manticore Search दोनों से कनेक्ट होता है। डेमो डेटा सेट Nginx लॉग से kscarlett-generator टूल का उपयोग करके उत्पन्न किए गए हैं।

विज़ुअलाइज़ेशन को एक लोकप्रिय ब्लॉग पोस्ट “ Nginx लॉग डेटा के लिए Kibana डैशबोर्ड सेटअप " द्वारा प्रेरित किया गया था, जो सर्च इंजन के प्रदर्शन की स्पष्ट तुलना में सक्षम बनाता है।

पर्यावरण सेटअप और डेमो चलाना

डेमो सेटअप और चलाने के लिए:

1. सुनिश्चित करें कि आपके पास Git और Docker Compose स्थापित हैं।
2. रिपॉजिटरी को क्लोन करें और प्रोजेक्ट डायरेक्टरी में जाएं।

   git clone https://github.com/manticoresoftware/kibana-demo.git
   cd kibana-demo  
   

3. त्वरित शुरुआत के लिए प्री-बिल्ट इंडेक्स का उपयोग करने या लॉग-जनरेटर कॉन्फ़िगरेशन को संशोधित करके नए डेटा उत्पन्न करने के बीच चुनें। विवरण के लिए demo Github repository देखें।
4. आवश्यकतानुसार पर्यावरण को कॉन्फ़िगर करें .env फ़ाइल को अपडेट करके:
   • लॉग प्रविष्टियों की संख्या को समायोजित करें।
   • डेटा अपडेट की आवृत्ति को कस्टमाइज़ करें।
   • Kibana डैशबोर्ड के लिए कस्टम पोर्ट सेट करें।
5. start.sh स्क्रिप्ट चलाकर पर्यावरण को लॉन्च करें। यह Docker वातावरण को सेट करेगा।
6. Kibana डैशबोर्ड तक पहुँचें:
   • Elasticsearch के लिए, डिफ़ॉल्ट रूप से - http://localhost:5612
   • Manticore Search के लिए, डिफ़ॉल्ट रूप से - http://localhost:5613
7. डेमो में शामिल kibana_objects.ndjson फ़ाइल का उपयोग करके प्री-बिल्ट Kibana विज़ुअलाइज़ेशन आयात करें।
8. Nginx लॉग डेटा का विश्लेषण करने और Manticore Search और Elasticsearch के बीच प्रदर्शन की तुलना करने के लिए डैशबोर्ड का अन्वेषण करें।
9. मूल्यांकन के बाद docker-compose down चलाकर पर्यावरण को रोकें।

यह सेटअप आपके विशिष्ट आवश्यकताओं के अनुरूप लचीलापन सुनिश्चित करता है जबकि प्रक्रिया को सरल बनाए रखता है।

प्रदर्शन तुलना

इस परीक्षण का मुख्य ध्यान Kibana में डैशबोर्ड रेंडरिंग गति है। Manticore Search निरंतर Elasticsearch की तुलना में अधिक तेजी से प्रदर्शन करता है, और दृश्यण रेंडरिंग में उल्लेखनीय गति प्रदान करता है।

एक वीडियो प्रदर्शन और प्रदर्शन के अंतर को दर्शाता है। 46 मिलियन से अधिक दस्तावेज़ों और आठ विभिन्न Kibana विज़ुअलाइज़ेशन के डेमो डेटा सेट का उपयोग करते हुए, वीडियो Manticore Search की तुलना में Elasticsearch के साथ डैशबोर्ड को लोड करने में लगने वाले समय की तुलना करता है।

Manticore Search के साथ Kibana का उपयोग करना

डेटा लोड करना

Kibana प्रोसेसिंग के लिए Logstash या Filebeat जैसी स्रोतों से Manticore Search में डेटा लोड करना भी सरल है। मार्गदर्शन के लिए Manticore दस्तावेज़ में इन अनुभागों को देखें:

• Logstash के साथ एकीकरण
• Filebeat के साथ एकीकरण

आप इस इंटरएक्टिव ट्यूटोरियल में प्रदान किए गए उदाहरणों का भी अन्वेषण कर सकते हैं:

• Manticore के साथ Logstash/Beats का एकीकरण

सीमाएँ और प्रगति में विशेषताएँ

हालांकि कुछ ज्ञात सीमाएँ और प्रगति में विशेषताएँ हैं, जैसे:

• नए Kibana संस्करणों (7.6 से आगे) के लिए समर्थन
• Elasticsearch-विशिष्ट डेटा प्रकारों जैसे भू-डेटा का हैंडलिंग
• Elasticsearch में उपलब्ध इंडेक्स प्रबंधन उपकरणों जैसे ILM के लिए समर्थन

इनका सक्रिय रूप से विकास किया जा रहा है ताकि संगतता और कार्यक्षमता में सुधार किया जा सके।

Manticore Search के अन्य लाभ

इसके अलावा, Manticore Search अपने उपयोगकर्ताओं के लिए कई स्पष्ट लाभ प्रदान करता है:

• उच्च प्रदर्शन, त्वरित क्वेरी प्रोसेसिंग के लिए अनुकूलित, स्वतंत्र बेंचमार्क और डेमो प्रोजेक्ट द्वारा पुष्टि की गई।
• पूर्ण SQL समर्थन, मौजूदा सिस्टम के साथ एकीकरण को सरल बनाना और डेवलपर्स के लिए शुरुआत करना आसान बनाना।
• रीयल-टाइम इंडेक्सिंग, स्थायी ऐप्लिकेशन के लिए महत्वपूर्ण तात्कालिक डेटा अपडेट सक्षम करना।
• स्तम्भीय भंडारण, विश्लेषणात्मक प्रश्नों के लिए डिज़ाइन किया गया, जो लॉग फ़ाइलों जैसे बड़े डेटा सेट के लिए आदर्श है।
• Elasticsearch की तुलना में हल्का और सरल सेटअप, जो कम संसाधनों और कम कॉन्फ़िगरेशन प्रयास की आवश्यकता होती है।

निष्कर्ष

Manticore Search proves to be a powerful alternative to Elasticsearch, especially in scenarios requiring fast data processing and visualization. Independent benchmarks and the demo project consistently demonstrate its superior performance, often several times faster than Elasticsearch when handling large datasets.

To see its capabilities firsthand, try the Manticore Search Kibana Demo and explore how it can enhance your data analysis workflows.