Manticore: C++ में Elasticsearch के लिए एक तेज़ विकल्प, 21 वर्षों के इतिहास के साथ

Manticore: C++ में Elasticsearch के लिए एक तेज़ विकल्प, 21 वर्षों के इतिहास के साथ

प्रकाशित: Jul 25, 2022
स्वत: अनुवाद: Manticore: a faster alternative to Elasticsearch in C++ with a 21-year history

पाँच साल पहले Manticore एक ओपन-सोर्स संस्करण के फोर्क के रूप में शुरू हुआ जो कभी लोकप्रिय सर्च इंजन Sphinx Search था। हमारे पास तीन C++ डेवलपर्स, एक सपोर्ट इंजीनियर, Sphinx Search के एक पॉवर यूजर / बैकएंड टीम लीड, एक अनुभवी प्रबंधक, पांच बच्चों की मां जो हमें पार्ट-टाइम मदद कर रही थीं, एक डोनट्स का डिब्बा, और बहुत सारे बग, क्रैश और तकनीकी ऋण थे। इसलिए हमने एक फावड़ा और अन्य खुदाई के उपकरण लिए और इसे सर्च इंजन उद्योग के मानकों के अनुरूप लाने के लिए काम शुरू किया। ऐसा नहीं था कि Sphinx का उपयोग करना असंभव था, लेकिन कई चीजें गायब थीं, और मौजूदा सुविधाएं उतनी स्थिर या परिपक्व नहीं थीं। और हमने इसे लगभग जितना संभव हो सकता था उतना आगे बढ़ा दिया था। इसलिए 5 वर्षों और सैकड़ों नए उपयोगकर्ताओं के बाद, हम यह कहने के लिए तैयार हैं कि Manticore Search को पूर्ण-पाठ खोज और (अब) डेटा एनालिटिक्स के लिए Elasticsearch के विकल्प के रूप में उपयोग किया जा सकता है।

इस लेख में, मैं यह करना चाहता हूँ:

⭐⭐⭐ आपका स्टार GitHub पर परियोजना का समर्थन करता है और हमें सोचने पर मजबूर करता है कि हम सही रास्ते पर हैं!⭐⭐⭐

इतिहास का थोड़ा हिस्सा

2001 - केवल Lucene और Sphinx

पहला एप्पल स्टोर खुला, Windows XP, iTunes और Mac OS X जारी किए गए।

जीनियस आंद्रेई अक्स्योनोफ ने Sphinx Search पर काम करना शुरू किया, जिसके लिए मैं उन्हें बहुत धन्यवाद देना चाहता हूँ! उस समय SOLR और Elasticsearch नहीं थे, लेकिन पहले से ही Lucene था, जिस पर दोनों बाद में बने। Sphinx Search धीरे-धीरे एक साथ आने लगा, और कुछ वर्षों में यह एक काफी लोकप्रिय तकनीक बन गई, जिसका प्रभाव हजारों वेबसाइटों पर पड़ा, जिन्होंने इसका उपयोग किया।

2010 - Elasticsearch प्रकट हुआ

रेटिना डिस्प्ले, systemd, Ipad, और Elasticsearch प्रकट हुआ।

तब तक Sphinx पहले से ही एक लोकप्रिय पूर्ण-पाठ खोज इंजन था, लेकिन Sphinx का “स्रोत डेटा कहीं होना चाहिए और हम बस एक पूर्ण-पाठ सूची बना रहे हैं जिसे नियमित रूप से फिर से बनाना चाहिए” का विचार Elasticsearch के “मुझे रीयल-टाइम में HTTP के माध्यम से कोई भी JSON दो, मैं इसे रखने के लिए एक नोड खोजूंगा” के रूप में उतना दिलचस्प नहीं था। SOLR डेटा वितरण के मामले में बहुत अच्छा नहीं था, और JSON लोकप्रियता प्राप्त कर रहा था, जबकि XML अपनी आकर्षण खो रहा था। जल्द ही Elasticsearch तेजी से लोकप्रियता हासिल करने लगा।

2017 - Manticore प्रकट हुआ

Elastic ने पूर्ण-पाठ खोज और लॉग और डेटा एनालिटिक्स के लिए एक मानक उपकरण के रूप में खुद को मजबूती से स्थापित किया।
Sphinx ने एक ओपन-सोर्स प्रोजेक्ट के रूप में अपने विकास को रोक दिया। विकास, सामान्य रूप से, काफी धीमा हो गया, और कुछ समय के लिए पूरी तरह से निलंबित हो गया।
कई Sphinx उपयोगकर्ता, जो इसे पसंद करते थे और इसके साथ काम करना जानते थे, इस पर संतुष्ट नहीं थे और उनके लिए Elasticsearch में माइग्रेट करना दर्दनाक था। इसके अलावा, तब तक Elasticsearch की वैचारिक कमजोरियां सामने आईं: अत्यधिक मेमोरी उपभोक्तृत्व, बड़े क्लस्टरों का रखरखाव करने में कठिनाई, और कुछ प्रदर्शन मुद्दे।

परिणामस्वरूप, निराश उपयोगकर्ताओं और कुछ पूर्व Sphinx डेवलपर्स ने एक साथ मिलकर एक फोर्क बनाया - Manticore Search। हमारे मुख्य लक्ष्य निम्नलिखित थे:

परियोजना का विकास एक ओपन-सोर्स के रूप में जारी रखें
हर चीज को एक सामान्य नियमित उपयोगकर्ता के दृष्टिकोण से देखें और आज के वातावरण में उन्हें आवश्यक कार्यक्षमता जोड़ें
Sphinx की मजबूत पक्षों को मजबूत करें और स्पष्ट कमजोरियों को समाप्त करें

2022: पाँच और वर्ष बाद

“ठीक है, कौन जानना चाहता है कि क्या यह चीज काम करती है?”

ठीक है, कौन जानना चाहता है कि क्या यह चीज काम करती है?

🙁 Sphinx 2: मुख्य उपयोग मामला एक बाहरी डेटाबेस से डेटा का अनुक्रमण करना है: Sphinx पहचान लौटाता है, फिर id के द्वारा आपको डेटाबेस में जाना होगा और स्रोत दस्तावेज़ के लिए वहां खोज करना होगा। डेटा स्कीमा केवल कॉन्फ़िग में घोषित किया जा सकता है।

✅ Manticore: इसके साथ काम करने का मूल तरीका बिल्कुल MySQL / Postgres और Elasticsearch के समान है: एक तालिका को तत्काल बनाया जा सकता है, डेटा को एकल/बुल्क INSERT/REPLACE/DELETE क्वेरी द्वारा संशोधित किया जा सकता है, डेटा को स्वचालित रूप से पृष्ठभूमि में संकुचित किया जाता है। इसे किसी बाहरी स्रोत में मूल दस्तावेज़ को देखने की आवश्यकता नहीं है। ऑटो ID समर्थित है।

🙁 Sphinx 2: कोई प्रतिकृति नहीं।

✅ Manticore: Galera पर आधारित प्रतिकृति, जिसे Mariadb और Percona Server द्वारा भी उपयोग किया जाता है।

🙁 Sphinx 2: क्वेरियों को SQL (MySQL वायर प्रोटोकॉल) या Sphinx बाइनरी प्रोटोकॉल के माध्यम से किया जा सकता है, कुछ प्रोग्रामिंग भाषाओं के लिए क्लाइंट हैं।

✅ Manticore: Elasticsearch के समान JSON इंटरफ़ेस जोड़ा गया है। नए प्रोटोकॉल के आधार पर, PHP, Python, Java, Javascript, और Elixir के लिए नए क्लाइंट बनाए गए। क्लाइंट स्वचालित रूप से उत्पन्न होते हैं, जिससे नई कार्यक्षमता क्लाइंट में इंजन में प्रकट होने के तुरंत बाद उपलब्ध होती है।

🙁 Sphinx 2: अधिकांश भाषाओं के लिए टेक्स्ट टोकनाइजेशन को कॉन्फ़िगर करना कठिन

✅ Manticore: सरल बनाया: aliases cjk और non_cjk बनाए गए। ICU के आधार पर चीनी के लिए टोकनाइजेशन किया गया। कई नए स्टेमर्स जोड़े गए, जिनमें यूक्रेनी भी शामिल है।

🙁 Sphinx 2: आधिकारिक डॉकर छवि और Kubernetes पारिस्थितिकी तंत्र में कोई समर्थन नहीं

✅ Manticore: Kubernetes के लिए आधिकारिक डॉकर और Helm चार्ट बनाया और समर्थन किया।

🙁 Sphinx 2: APT/YUM/Homebrew रिपॉजिटरी नहीं

✅ Manticore: APT/YUM/Homebrew रिपॉजिटरी जोड़ी गई। नैटली बिल्ड भी उपलब्ध हैं विकास रिपॉजिटरी में। प्रत्येक नई कमिट पैकेज के रूप में उपलब्ध हो जाती है।

🙁 Sphinx 2: शुरुआती उपयोगकर्ताओं को समझने में कठिनाई होती थी कि क्या क्या है।

✅ Manticore: इंटरएक्टिव पाठ्यक्रमों के साथ प्लेटफार्म बनाया गया — https://play.manticoresearch.com/

🙁 Sphinx 2: दस्तावेज़ में कुछ उदाहरण

✅ Manticore: दस्तावेज को फिर से लिखा, इसके लिए अपना रेंडरिंग इंजन बनाया - https://manual.manticoresearch.com/ . यह योगदान और आसान संपादन के लिए एक साधारण मार्कडाउन प्रारूप में भी उपलब्ध है।

🙁 Sphinx 2: बग, जो अक्सर क्रैश का कारण बनते हैं

✅ Manticore: क्रैश अब दुर्लभ हैं। पुराने सैकड़ों बग फ़िक्स किए गए हैं।

🙁 Sphinx 2: समानांतर में खोज क्वेरी चलाना सीमित है

✅ Manticore: कोरोटीन में माइग्रेट किया गया। किसी भी खोज क्वेरी को समानांतर करने की क्षमता बनाई, ताकि CPU को पूरी तरह से लोड किया जा सके और प्रतिक्रिया समय को न्यूनतम पर लाया जा सके।

🙁 Sphinx 2: पूर्ण-पाठ क्षेत्रों के बिना उपयोग नहीं किया जा सकता

✅ Manticore: पूर्ण-पाठ के बिना उपयोग किया जा सकता है, जैसे कोई अन्य डेटाबेस।

🙁 Sphinx 2: गैर-पूर्ण-पाठ डेटा पंक्ति के अनुसार संग्रहित होता है, इसे कुशलता से काम करने के लिए मेमोरी में होना चाहिए।

✅ Manticore: ओपन-सोर्स Manticore Columnar Library लागू किया, एक बाहरी पूरी तरह से स्वतंत्र लाइब्रेरी जो डेटा को कॉलम-ओरिएंटेड ब्लॉकों में संग्रहित करने की अनुमति देती है जिसमें विभिन्न प्रकार के डेटा को कुशलता से संकुचित करने के लिए विभिन्न कोडेक का समर्थन होता है। लगभग कोई मेमोरी की आवश्यकता नहीं होती। आप अब एक ही सर्वर पर बहुत बड़ी मात्रा में डेटा संभाल सकते हैं।

🙁 Sphinx 2: कोई द्वितीयक अनुक्रमांक नहीं

✅ Manticore: Manticore Columnar Library की दूसरी महत्वपूर्ण कार्यक्षमता द्वितीयक अनुक्रमांक का समर्थन है जो आधुनिक और नवोन्मेषी PGM एल्गोरिदम पर आधारित है।

🙁 Sphinx 2: उलटा खोज के लिए कोई परकोलेट अनुक्रमांक नहीं (जब अनुक्रमांक में क्वेरी होती हैं और दस्तावेजों का उपयोग इनपुट के रूप में यह पता करने के लिए किया जाता है कि कौन सी क्वेरी उन्हें मेल खाती है)

✅ Manticore: परकोलेट प्रकार के अनुक्रमांक जोड़े गए।

यह केवल परिवर्तनों का लगभग एक तिहाई है - वे जिनका आप आसानी से देख सकते हैं। इसके अलावा, प्रणाली के विभिन्न भागों का कई महीनों का रिफैक्टरिंग किया गया है, जिसके परिणामस्वरूप बहुत सरल, विश्वसनीय और अधिक उत्पादक कोड है। हमें उम्मीद है कि इससे नए डेवलपर्स को परियोजना की ओर आकर्षित किया जाएगा।

Elasticsearch के बारे में क्या?

Elasticsearch ठीक है: इसे एक निश्चित मात्रा के डेटा तक उपयोग करना बहुत कठिन नहीं है, इसमें पुनर्प्रतिलिपि, दोष सहिष्णुता और समृद्ध कार्यक्षमता है। लेकिन इसमें बारीकियाँ हैं।

आइए उन बारीकियों और Manticore की Elasticsearch के साथ तुलना देखें अब (जुलाई 2022)। भविष्य के पाठक, हमने पहले ही कुछ और जोड़ा है, हमारे Changelog को देखें।

खोज गति

प्रदर्शन, यानी कम प्रतिक्रिया समय, कई मामलों में महत्वपूर्ण है, खासकर लॉग और डेटा एनालिटिक्स में, जब बहुत सारा डेटा होता है और बहुत कम खोज क्वेरियाँ होती हैं। आप प्रतिक्रिया के लिए 30 सेकंड इंतज़ार नहीं करना चाहते, क्या आप चाहते हैं? तो यहाँ बारीकियों के लिए: Elasticsearch को लॉग प्रबंधन के लिए एक मानक माना जाता है, लेकिन, उदाहरण के लिए, यह किसी एक अनुक्रमांक शार्ड पर प्रभावी ढंग से क्वेरी को समानांतरित नहीं कर सकता। और Elasticsearch का डिफ़ॉल्ट रूप से केवल 1 शार्ड होता है, लेकिन आधुनिक सर्वरों में बहुत अधिक CPU कोर होते हैं। बहुत अधिक शार्ड बनाना भी खराब है। इससे एक डेवऑप्स के लिए जीवन आसान नहीं होता है जो प्रतिक्रिया समय के बारे में परवाह करता है: आपको इस बात पर ध्यान देना होगा कि Elasticsearch किस हार्डवेयर पर चलेगा और तदनुसार परिवर्तन करने होंगे।

Manticore, इसके विपरीत, सभी CPU कोर के लिए खोज क्वेरी को बिना किसी शर्त के और डिफ़ॉल्ट रूप से समानांतरित करने में सक्षम है। यह अधिक सही होगा कि कहना कि Manticore स्वयं निर्णय लेता है कि कब समानांतरित करना है और कब नहीं, लेकिन अधिकांश मामलों में यह करता है, जिससे आप CPU कोर्स को प्रभावी ढंग से लोड कर सकते हैं (जो अक्सर लॉगिंग और डेटा एनालिटिक्स के मामलों में निष्क्रिय होते हैं) और प्रतिक्रिया समय को काफी कम कर सकते हैं।

लेकिन अगर आप Elasticsearch में उतने ही शार्ड बनाते हैं जितने कि सर्वर पर CPU कोर हैं, तब भी Manticore काफी तेज निकलता है, विशेष रूप से: यहाँ 1.7 बिलियन दस्तावेज़ों का एक परीक्षण है, जिससे आप देख सकते हैं कि कुल मिलाकर Manticore Elasticsearch से 4 गुना अधिक तेज है। यदि आप विवरण में रुचि रखते हैं या चाहते हैं कि आप अपने स्वयं के हार्डवेयर पर इसे दोहराएँ, तो यहाँ एक लेख है https://db-benchmarks.com/test-taxi/ (नीचे सभी उदाहरणों का समर्थन स्क्रिप्ट और लिंक द्वारा किया गया है, आदि, आपको इस ब्लॉग में कोई निष्क्रिय बातचीत नहीं मिलेगी)

Manticore is 4x faster than tuned Elasticsearch in 1.7B documents test

यहाँ एक अलग मामला है: कोई बड़ा डेटा नहीं, बस Hacker News से 1.1 मिलियन टिप्पणियाँ। इस परीक्षण में, Manticore Elasticsearch की तुलना में 15 गुना अधिक तेज है। सभी विवरण यहाँ ।

Manticore is 15x faster than Elasticsearch in 1.1M documents test

और एक और परीक्षण जो Elasticsearch के मानक लॉग एनालिटिक्स उपकरण के लिए उल्लेखनीय है - 10 मिलियन Nginx लॉग और विभिन्न बहुत यथार्थवादी विश्लेषणात्मक प्रश्न - Manticore यहाँ Elasticsearch से 22 गुना तेज है। सभी विवरण यहाँ

Manticore is 22x faster than Elasticsearch in 10M records Nginx log test

डेटा निष्कर्षण प्रदर्शन

Elasticsearch की लेखन गति के साथ भी कुछ बारीकियाँ हैं। उदाहरण के लिए, ऊपर चर्चा किए गए 1.7 बिलियन दस्तावेज़ों के परीक्षण के लिए डेटासेट लोड किया गया:

Elasticsearch के लिए - 28 घंटे और 33 मिनट में
Manticore Search के लिए - 1 घंटे और 8 मिनट में।

यह एक 32-कोर सर्वर पर SSD के साथ था। अनुक्रमण के बाद डेटा की मात्रा लगभग समान है। यह जानने के लिए कि लोड वास्तव में कैसे संभाला गया यहाँ पढ़ें ।

संक्षेप में:

स्रोत - csv
डेटा को Elasticsearch में डालने के लिए Logstash का उपयोग PIPELINE_BATCH_SIZE=10000 और PIPELINE_WORKERS=32 के साथ 32 शार्ड में किया गया।
Manticore Search ने 32 शार्ड में समानांतर में डेटा डालने के लिए अंतर्निहित उपकरण indexer का उपयोग किया।

यहाँ डेटा लोडिंग का लॉग है:

Elasticsearch:

root@perf3 /perf/test_engines/tests/taxi # ./init                                                                                                                           WARNING: The cpuset variable is not set. Defaulting to a blank string.
Removing elasticsearch_engine ... done
Removing network test_engines_default
No stopped containers
Manticore Search (type columnar):
No stopped containers
WARNING: The cpuset variable is not set. Defaulting to a blank string.
Building manticoresearch
Step 1/4 : FROM manticoresearch/manticore:5.0.0
 ---> 32e4119b4d86
Step 2/4 : RUN apt-get -y update && apt-get -y install wget
 ---> Using cache
 ---> 6322fd861e6d
Step 3/4 : RUN wget https://repo.manticoresearch.com/manticore-repo.noarch.deb && dpkg -i manticore-repo.noarch.deb
 ---> Using cache
 ---> b70ad32ac505
Step 4/4 : RUN apt-get -y update && apt-get -y install manticore-columnar-lib
 ---> Using cache
 ---> 1fcc45e375ba

Successfully built 1fcc45e375ba
Successfully tagged manticoresearch:test
        No need to rebuild
Elasticsearch (type tuned):
No stopped containers
        Starting elasticsearch (test=taxi suffix=_tuned docker-compose -f ../../docker-compose.yml --env-file ../../.env up -d elasticsearch)
WARNING: The cpuset variable is not set. Defaulting to a blank string.
Creating network "test_engines_default" with the default driver
Creating elasticsearch_engine ... done
        Waiting for elasticsearch to come up
        Starting loading at Fri Jul  1 04:13:20 PM CEST 2022
2022/07/01 14:13:20 Setting 'pipeline.batch.size' from environment.
2022/07/01 14:13:20 Setting 'xpack.monitoring.enabled' from environment.
2022/07/01 14:13:20 Setting 'pipeline.workers' from environment.
Using bundled JDK: /usr/share/logstash/jdk
Sending Logstash logs to /usr/share/logstash/logs which is now configured via log4j2.properties
[2022-07-01T14:13:29,080][INFO ][logstash.runner          ] Log4j configuration path used is: /usr/share/logstash/config/log4j2.properties
[2022-07-01T14:13:29,084][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"7.15.2", "jruby.version"=>"jruby 9.2.19.0 (2.5.8) 2021-06-15 55810c552b OpenJDK 64-Bit Server VM 11.0.12+7 on 11.0.12+7 +jit [linux-x86_64]"}
[2022-07-01T14:13:29,087][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/usr/share/logstash/data/queue"}
[2022-07-01T14:13:29,088][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/usr/share/logstash/data/dead_letter_queue"}
[2022-07-01T14:13:29,240][INFO ][logstash.agent           ] No persistent UUID file found. Generating new UUID {:uuid=>"5ae0d5d3-2824-4ba7-bcc0-a25e899223b0", :path=>"/usr/share/logstash/data/uuid"}
[2022-07-01T14:13:29,534][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2022-07-01T14:13:29,973][INFO ][org.reflections.Reflections] Reflections took 66 ms to scan 1 urls, producing 120 keys and 417 values
[2022-07-01T14:13:30,192][WARN ][deprecation.logstash.codecs.plain] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
[2022-07-01T14:13:30,201][WARN ][deprecation.logstash.inputs.file] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
[2022-07-01T14:13:30,223][WARN ][deprecation.logstash.filters.csv] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
[2022-07-01T14:13:30,270][WARN ][deprecation.logstash.codecs.plain] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
[2022-07-01T14:13:30,283][WARN ][deprecation.logstash.outputs.elasticsearch] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
[2022-07-01T14:13:30,292][INFO ][logstash.outputs.elasticsearch][main] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//127.0.0.1:9200"]}
[2022-07-01T14:13:30,412][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
[2022-07-01T14:13:30,448][WARN ][logstash.outputs.elasticsearch][main] Attempted to resurrect connection to dead ES instance, but got an error {:url=>"http://127.0.0.1:9200/", :exception=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :message=>"Elasticsearch Unreachable: [http://127.0.0.1:9200/][Manticore::ClientProtocolException] 127.0.0.1:9200 failed to respond"}
[2022-07-01T14:13:30,460][INFO ][logstash.javapipeline    ][main] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>32, "pipeline.batch.size"=>10000, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>320000, "pipeline.sources"=>["/usr/share/logstash/pipeline/logstash.conf"], :thread=>"#<Thread:0x3cf654c4@/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:125 run>"}
[2022-07-01T14:13:30,461][WARN ][logstash.javapipeline    ][main] CAUTION: Recommended inflight events max exceeded! Logstash will run with up to 320000 events in memory in your current configuration. If your message sizes are large this may cause instability with the default heap size. Please consider setting a non-standard heap size, changing the batch size (currently 10000), or changing the number of pipeline workers (currently 32) {:pipeline_id=>"main", :thread=>"#<Thread:0x3cf654c4@/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:125 run>"}
[2022-07-01T14:13:31,275][INFO ][logstash.javapipeline    ][main] Pipeline Java execution initialization time {"seconds"=>0.81}
[2022-07-01T14:13:31,286][INFO ][logstash.javapipeline    ][main] Pipeline शुरू हुआ {"pipeline.id"=>"main"}
[2022-07-01T14:13:31,290][INFO ][filewatch.observingread  ][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] शुरू, Discoverer, फ़ाइल और sincedb संग्रह के साथ Watch बना रहा है
[2022-07-01T14:13:31,305][INFO ][logstash.agent           ] पाइपलाइन चल रहे हैं {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2022-07-01T14:13:31,336][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T14:13:35,455][WARN ][logstash.outputs.elasticsearch] मृत ES इंस्टेंस के लिए कनेक्शन को पुनर्जीवित करने का प्रयास किया गया, लेकिन एक त्रुटि मिली {:url=>"http://127.0.0.1:9200/", :exception=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :message=>"Elasticsearch अप्राप्य: [http://127.0.0.1:9200/][Manticore::SocketException] कनेक्शन रिसेट"}
[2022-07-01T14:13:40,811][WARN ][logstash.outputs.elasticsearch] ES इंस्टेंस के लिए कनेक्शन फिर से स्थापित किया गया {:url=>"http://127.0.0.1:9200/"}
[2022-07-01T14:13:40,945][INFO ][logstash.outputs.elasticsearch] Elasticsearch संस्करण निर्धारित किया गया (7.15.2) {:es_version=>7}
[2022-07-01T14:13:40,946][WARN ][logstash.outputs.elasticsearch] 6.x और ऊपर के क्लस्टर का पता चला: `type` ईवेंट फ़ील्ड का उपयोग दस्तावेज़ _type निर्धारित करने के लिए नहीं किया जाएगा {:es_version=>7}
[2022-07-01T14:13:44,465][INFO ][logstash.outputs.elasticsearch] {:path=>"/template.json"} से मैपिंग टेम्पलेट का उपयोग कर रहा है
[2022-07-01T14:13:44,483][INFO ][logstash.outputs.elasticsearch] Elasticsearch टेम्पलेट स्थापित कर रहा है {:name=>"logstash"}

[2022-07-01T14:25:18,564][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T14:36:51,663][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T14:47:48,196][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T14:58:24,202][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T15:09:34,405][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T15:21:00,702][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T15:32:29,427][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T15:43:59,768][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T15:55:24,851][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T16:06:51,722][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T16:18:22,191][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर भरोसा करते हुए, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T16:29:54,860][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T16:41:22,213][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T16:52:53,302][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T17:04:26,699][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T17:16:05,588][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T17:27:40,146][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T17:39:11,727][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T17:50:43,353][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T18:02:13,095][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T18:13:59,913][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T18:25:38,646][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T18:37:17,263][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T18:48:55,751][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T19:00:51,379][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T19:13:09,935][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T19:25:16,811][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] मानक मूल्य `pipeline.ecs_compatibility` पर निर्भर रहना, जो Logstash के भविष्य के प्रमुख संस्करण में बदल सकता है। Logstash को अपग्रेड करने पर अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड की स्पष्ट घोषणा करें।
[2022-07-01T19:37:15,727][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T19:48:59,923][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:00:46,024][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:12:27,410][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:24:06,169][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:35:44,409][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:47:16,165][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T20:58:55,137][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T21:10:32,131][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T21:22:13,640][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T21:33:58,533][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T21:45:30,972][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T21:57:09,853][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T22:08:51,288][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T22:20:38,762][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T22:32:13,204][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान पर भरोसा कर रहे हैं `pipeline.ecs_compatibility`, जो Logstash के भविष्य के प्रमुख रिलीज में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T22:43:49,824][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T22:55:52,191][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T23:07:49,883][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T23:20:17,374][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T23:32:19,973][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T23:44:15,294][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-01T23:55:47,100][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T00:07:11,897][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T00:18:40,233][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T00:30:32,451][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T00:42:16,614][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T00:53:53,569][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T01:05:28,623][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T01:17:13,903][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T01:29:10,660][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T01:41:00,455][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मूल्य पर निर्भर कर रहे हैं, जो Logstash के भविष्य में किसी प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T01:52:42,559][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T02:04:14,124][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T02:16:04,127][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T02:27:51,732][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T02:39:56,423][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T02:51:54,136][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:03:46,056][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:15:54,520][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:26:58,089][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:38:05,988][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:48:58,174][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T03:59:49,479][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T04:10:37,353][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T04:21:19,909][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T04:31:52,571][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T04:42:25,201][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] `pipeline.ecs_compatibility` के डिफ़ॉल्ट मान पर निर्भर है, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपडेट करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपनी इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषीत करें।
[2022-07-02T04:53:00,526][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:03:39,891][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:14:19,439][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:24:59,133][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:35:34,450][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:46:12,227][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T05:56:52,682][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T06:07:30,958][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T06:18:08,658][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T06:28:49,737][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T06:39:34,836][WARN ][deprecation.logstash.codecs.plain][main][df6082e07bf59ecdc49074832e93c5e058465344886b3ad93818b05a69e52527] डिफ़ॉल्ट मान `pipeline.ecs_compatibility` पर भरोसा करना, जो Logstash के भविष्य के प्रमुख रिलीज़ में बदल सकता है। Logstash को अपग्रेड करते समय अप्रत्याशित परिवर्तनों से बचने के लिए, कृपया अपने इच्छित ECS संगतता मोड को स्पष्ट रूप से घोषित करें।
[2022-07-02T06:46:35,043][INFO ][logstash.javapipeline    ][main] पाइपलाइन समाप्त हो गई {"pipeline.id"=>"main"}
[2022-07-02T06:46:35,202][INFO ][logstash.pipelinesregistry] रजिस्ट्रर से पाइपलाइन को सफलतापूर्वक हटा दिया {:pipeline_id=>:main}
[2022-07-02T06:46:35,211][INFO ][logstash.runner          ] Logstash बंद हो गया।
        शनिवार जुलाई  2 08:46:36 AM CEST 2022 पर समाप्त लदान

Manticore Search:

root@perf3 /perf/test_engines/tests/taxi # ./init
WARNING: The cpuset variable is not set. Defaulting to a blank string.
Stopping elasticsearch_engine ... done
Removing elasticsearch_engine ... done
Removing network test_engines_default
No stopped containers
Manticore Search (type columnar):
No stopped containers
WARNING: The cpuset variable is not set. Defaulting to a blank string.
Building manticoresearch
Step 1/4 : FROM manticoresearch/manticore:5.0.0
 ---> 32e4119b4d86
Step 2/4 : RUN apt-get -y update && apt-get -y install wget
 ---> Using cache
 ---> 6322fd861e6d
Step 3/4 : RUN wget https://repo.manticoresearch.com/manticore-repo.noarch.deb && dpkg -i manticore-repo.noarch.deb
 ---> Using cache
 ---> b70ad32ac505
Step 4/4 : RUN apt-get -y update && apt-get -y install manticore-columnar-lib
 ---> Using cache
 ---> 1fcc45e375ba

Successfully built 1fcc45e375ba
Successfully tagged manticoresearch:test
        रविवार जुलाई  3 07:26:48 PM CEST 2022 पर लोड शुरू करना
WARNING: The cpuset variable is not set. Defaulting to a blank string.
Creating network "test_engines_default" with the default driver
Creating test_engines_manticoresearch_run ... done
Manticore 5.0.0 b4cb7da02@220518 रिलीज़ (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi2'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi5'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi6'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi9'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi15'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi1'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi12'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi14'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi8'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi7'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi13'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi10'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi3'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi4'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi11'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi16'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi17'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi18'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi19'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi20'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi21'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi22'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi23'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi24'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi25'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi26'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi27'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi28'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi29'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi30'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi31'...
Manticore 5.0.0 b4cb7da02@220518 release (columnar 1.15.2 b0bcafb@220518) (secondary 1.15.2 b0bcafb@220518)
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)

using config file '/etc/manticoresearch/manticore.conf'...
indexing index 'taxi32'...
collected 40000000 docs, 80.0 MB
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 80.0 एमबी
collected 40000000 दस्तावेज़, 814.9 एमबी
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
creating lookup: 40000.0 Kdocs, 100.0% पूरा
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2116.941 सेकंड, 37790 बाइट्स/सेकंड, 18895.18 दस्तावेज/सेकंड
कुल 530 रीड्स, 3.914 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 7.3 मि.से./कॉल एवरेज
कुल 8347 राइट्स, 5.855 सेकंड, 406.9 कि.बाई./कॉल एवरेज, 0.7 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2118.297 सेकंड, 37766 बाइट्स/सेकंड, 18883.09 दस्तावेज/सेकंड
कुल 530 रीड्स, 3.850 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 7.2 मि.से./कॉल एवरेज
कुल 8371 राइट्स, 5.813 सेकंड, 406.5 कि.बाई./कॉल एवरेज, 0.6 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2119.772 सेकंड, 37739 बाइट्स/सेकंड, 18869.94 दस्तावेज/सेकंड
कुल 530 रीड्स, 4.239 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 7.9 मि.से./कॉल एवरेज
कुल 8742 राइट्स, 5.988 सेकंड, 399.9 कि.बाई./कॉल एवरेज, 0.6 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2121.282 सेकंड, 37713 बाइट्स/सेकंड, 18856.51 दस्तावेज/सेकंड
कुल 530 रीड्स, 3.697 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 6.9 मि.से./कॉल एवरेज
कुल 8941 राइट्स, 3.312 सेकंड, 396.6 कि.बाई./कॉल एवरेज, 0.3 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2124.098 सेकंड, 37663 बाइट्स/सेकंड, 18831.52 दस्तावेज/सेकंड
कुल 530 रीड्स, 3.686 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 6.9 मि.से./कॉल एवरेज
कुल 8972 राइट्स, 3.289 सेकंड, 396.1 कि.बाई./कॉल एवरेज, 0.3 मि.से./कॉल एवरेज
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2124.121 सेकंड, 37662 बाइट्स/सेकंड, 18831.31 दस्तावेज/सेकंड
कुल 530 रीड्स, 3.497 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 6.5 मि.से./कॉल एवरेज
कुल 8916 राइट्स, 3.380 सेकंड, 397.0 कि.बाई./कॉल एवरेज, 0.3 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2130.926 सेकंड, 37542 बाइट्स/सेकंड, 18771.17 दस्तावेज/सेकंड
कुल 530 रीड्स, 7.057 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 13.3 मि.से./कॉल एवरेज
कुल 9074 राइट्स, 3.303 सेकंड, 394.5 कि.बाई./कॉल एवरेज, 0.3 मि.से./कॉल एवरेज
sorted 80.0 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 80000000 बाइट्स
कुल 2131.300 सेकंड, 37535 बाइट्स/सेकंड, 18767.88 दस्तावेज/सेकंड
कुल 530 रीड्स, 7.140 सेकंड, 1916.2 कि.बाई./कॉल एवरेज, 13.4 मि.से./कॉल एवरेज
कुल 9005 राइट्स, 5.885 सेकंड, 395.6 कि.बाई./कॉल एवरेज, 0.6 मि.से./कॉल एवरेज
collected 52817071 दस्तावेज़, 105.6 एमबी
creating lookup: 40000.0 Kdocs, 100.0% पूरा
sorted 163.8 Mhits, 100.0% पूरा
कुल 40000000 दस्तावेज़, 814943250 बाइट्स
कुल 2387.474 सेकंड, 341341 बाइट्स/सेकंड, 16754.10 दस्तावेज/सेकंड
कुल 748 रीड्स, 5.297 सेकंड, 1846.8 कि.बाई./कॉल एवरेज, 7.0 मि.से./कॉल एवरेज
कुल 15726 राइट्स, 8.017 सेकंड, 363.3 कि.बाई./कॉल एवरेज, 0.5 मि.से./कॉल एवरेज
creating lookup: 52817.0 Kdocs, 100.0% पूरा
sorted 105.6 Mhits, 100.0% पूरा
कुल 52817071 दस्तावेज़, 105634142 बाइट्स
कुल 2752.827 सेकंड, 38372 बाइट्स/सेकंड, 19186.48 दस्तावेज/सेकंड
कुल 947 रीड्स, 3.342 सेकंड, 1416.1 कि.बाई./कॉल एवरेज, 3.5 मि.से./कॉल एवरेज
कुल 11846 राइट्स, 6.872 सेकंड, 396.2 कि.बाई./कॉल एवरेज, 0.5 मि.से./कॉल एवरेज
collected 60000000 दस्तावेज़, 1663.3 एमबी
collected 60000000 दस्तावेज़, 1760.9 एमबी
collected 60000000 दस्तावेज़, 2526.3 एमबी
collected 60000000 दस्तावेज़, 2526.9 एमबी
collected 60000000 दस्तावेज़, 2521.6 एमबी
collected 60000000 दस्तावेज़, 2527.2 एमबी
collected 60000000 दस्तावेज़, 2519.4 एमबी
collected 60000000 दस्तावेज़, 2528.9 एमबी
collected 60000000 दस्तावेज़, 2550.7 एमबी
collected 60000000 दस्तावेज़, 2530.5 एमबी
collected 60000000 दस्तावेज़, 2535.5 एमबी
collected 60000000 दस्तावेज़, 2521.5 एमबी
collected 60000000 दस्तावेज़, 2524.7 एमबी
collected 60000000 दस्तावेज़, 2530.4 एमबी
collected 60000000 दस्तावेज़, 2541.5 एमबी
collected 60000000 दस्तावेज़, 2523.3 एमबी
collected 60000000 दस्तावेज़, 2545.0 एमबी
collected 60000000 दस्तावेज़, 2523.0 एमबी
collected 60000000 दस्तावेज़, 2529.6 एमबी
collected 60000000 दस्तावेज़, 2533.7 एमबी
collected 60000000 दस्तावेज़, 2533.7 एमबी
collected 60000000 दस्तावेज़, 2533.0 एमबी
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
sorted 296.5 Mhits, 100.0% पूरा
कुल 60000000 दस्तावेज़, 1663373694 बाइट्स
कुल 3755.841 सेकंड, 442876 बाइट्स/सेकंड, 15975.11 दस्तावेज/सेकंड
कुल 1890 रीड्स, 6.795 सेकंड, 1210.9 कि.बाई./कॉल एवरेज, 3.5 मि.से./कॉल एवरेज
कुल 27244 राइट्स, 8.377 सेकंड, 360.1 कि.बाई./कॉल एवरेज, 0.3 मि.से./कॉल एवरेज
sorted 286.6 Mhits, 100.0% पूरा
कुल 60000000 दस्तावेज़, 1760925599 बाइट्स
कुल 3781.297 सेकंड, 465693 बाइट्स/सेकंड, 15867.56 दस्तावेज/सेकंड
कुल 1861 रीड्स, 5.982 सेकंड, 1223.1 कि.बाई./कॉल एवरेज, 3.2 मि.से./कॉल एवरेज
कुल 32940 राइट्स, 9.832 सेकंड, 338.7 कि.बाई./कॉल एवरेज, 0.2 मि.से./कॉल एवरेज
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
creating lookup: 60000.0 Kdocs, 100.0% पूरा
sorted 394.0 Mhits, 100.0% पूरा
कुल 60000000 दस्तावेज़, 2526368830 बाइट्स
कुल 4003.871 सेकंड, 630981 बाइट्स/सेकंड, 14985.49 दस्तावेज/सेकंड
कुल 2506 रीड्स, 15.430 सेकंड, 1085.0 कि.बाई./कॉल एवरेज, 6.1 मि.से./कॉल एवरेज
कुल 36437 राइट्स, 10.878 सेकंड, 346.9 कि.बाई./कॉल एवरेज, 0.2 मि.से./कॉल एवरेज
sorted 398.1 Mhits, 100.0% पूरा
कुल 60000000 दस्तावेज़, 2550752406 बाइट्स
कुल 4030.026 सेकंड, 632936 बाइट्स/सेकंड, 14888.23 दस्तावेज/सेकंड
कुल 2608 रीड्स, 11.693 सेकंड, 1047.5 कि.बाई./कॉल एवरेज, 4.4 मि.से./कॉल एवरेज
total 35896 writes, 10.655 sec, 349.2 kb/call avg, 0.2 msec/call avg
sorted 394.5 Mhits, 100.0% done
total 60000000 docs, 2526941479 bytes
total 4039.151 sec, 625611 bytes/sec, 14854.60 docs/sec
total 2508 reads, 10.428 sec, 1084.2 kb/call avg, 4.1 msec/call avg
total 36716 writes, 10.820 sec, 345.5 kb/call avg, 0.2 msec/call avg
sorted 395.6 Mhits, 100.0% done
total 60000000 docs, 2533004314 bytes
total 4040.958 sec, 626832 bytes/sec, 14847.96 docs/sec
total 2599 reads, 10.602 sec, 1047.5 kb/call avg, 4.0 msec/call avg
total 36421 writes, 13.513 sec, 346.1 kb/call avg, 0.3 msec/call avg
sorted 395.0 Mhits, 100.0% done
total 60000000 docs, 2528909232 bytes
total 4042.235 sec, 625621 bytes/sec, 14843.27 docs/sec
total 2510 reads, 12.530 sec, 1084.5 kb/call avg, 4.9 msec/call avg
total 35811 writes, 13.278 sec, 348.4 kb/call avg, 0.3 msec/call avg
sorted 395.1 Mhits, 100.0% done
total 60000000 docs, 2530457184 bytes
total 4043.242 sec, 625848 bytes/sec, 14839.57 docs/sec
total 2510 reads, 10.881 sec, 1084.3 kb/call avg, 4.3 msec/call avg
total 36415 writes, 13.446 sec, 346.8 kb/call avg, 0.3 msec/call avg
sorted 394.6 Mhits, 100.0% done
total 60000000 docs, 2519499069 bytes
total 4043.766 sec, 623057 bytes/sec, 14837.65 docs/sec
total 2508 reads, 11.577 sec, 1082.6 kb/call avg, 4.6 msec/call avg
total 35936 writes, 10.685 sec, 348.6 kb/call avg, 0.2 msec/call avg
sorted 396.3 Mhits, 100.0% done
total 60000000 docs, 2535539179 bytes
total 4045.012 sec, 626831 bytes/sec, 14833.08 docs/sec
total 2601 reads, 10.332 sec, 1047.6 kb/call avg, 3.9 msec/call avg
total 36545 writes, 10.750 sec, 345.9 kb/call avg, 0.2 msec/call avg
sorted 394.8 Mhits, 100.0% done
total 60000000 docs, 2527225224 bytes
total 4045.299 sec, 624731 bytes/sec, 14832.03 docs/sec
total 2509 reads, 10.903 sec, 1084.0 kb/call avg, 4.3 msec/call avg
total 35913 writes, 10.725 sec, 348.2 kb/call avg, 0.2 msec/call avg
sorted 394.9 Mhits, 100.0% done
total 60000000 docs, 2523385127 bytes
total 4045.569 sec, 623740 bytes/sec, 14831.03 docs/sec
total 2509 reads, 7.503 sec, 1081.6 kb/call avg, 2.9 msec/call avg
total 36191 writes, 10.624 sec, 347.4 kb/call avg, 0.2 msec/call avg
sorted 394.9 Mhits, 100.0% done
total 60000000 docs, 2524711893 bytes
total 4046.779 sec, 623881 bytes/sec, 14826.60 docs/sec
total 2509 reads, 10.721 sec, 1082.9 kb/call avg, 4.2 msec/call avg
total 36326 writes, 10.709 sec, 346.5 kb/call avg, 0.2 msec/call avg
sorted 395.1 Mhits, 100.0% done
total 60000000 docs, 2529673951 bytes
total 4048.110 sec, 624902 bytes/sec, 14821.72 docs/sec
total 2510 reads, 9.881 sec, 1083.9 kb/call avg, 3.9 msec/call avg
total 36528 writes, 10.929 sec, 346.3 kb/call avg, 0.2 msec/call avg
sorted 394.8 Mhits, 100.0% done
total 60000000 docs, 2530548084 bytes
total 4048.832 sec, 625006 bytes/sec, 14819.08 docs/sec
total 2509 reads, 11.065 sec, 1085.1 kb/call avg, 4.4 msec/call avg
total 36033 writes, 13.487 sec, 348.0 kb/call avg, 0.3 msec/call avg
sorted 396.6 Mhits, 100.0% done
total 60000000 docs, 2541500170 bytes
total 4049.268 sec, 627644 bytes/sec, 14817.49 docs/sec
total 2603 reads, 9.141 sec, 1047.9 kb/call avg, 3.5 msec/call avg
total 35976 writes, 10.642 sec, 348.3 kb/call avg, 0.2 msec/call avg
sorted 397.1 Mhits, 100.0% done
total 60000000 docs, 2545075714 bytes
total 4049.585 sec, 628478 bytes/sec, 14816.33 docs/sec
total 2605 reads, 10.802 sec, 1048.6 kb/call avg, 4.1 msec/call avg
total 36079 writes, 10.748 sec, 348.3 kb/call avg, 0.2 msec/call avg
sorted 393.8 Mhits, 100.0% done
total 60000000 docs, 2521600380 bytes
total 4050.387 sec, 622557 bytes/sec, 14813.39 docs/sec
total 2505 reads, 8.642 sec, 1084.8 kb/call avg, 3.4 msec/call avg
total 37029 writes, 10.997 sec, 345.8 kb/call avg, 0.2 msec/call avg
sorted 394.4 Mhits, 100.0% done
total 60000000 docs, 2521590009 bytes
total 4050.635 sec, 622517 bytes/sec, 14812.48 docs/sec
total 2507 reads, 9.764 sec, 1084.3 kb/call avg, 3.8 msec/call avg
total 36405 writes, 10.763 sec, 346.0 kb/call avg, 0.2 msec/call avg
sorted 395.5 Mhits, 100.0% done
total 60000000 docs, 2533750585 bytes
total 4052.470 sec, 625235 bytes/sec, 14805.78 docs/sec
total 2598 reads, 8.921 sec, 1046.4 kb/call avg, 3.4 msec/call avg
total 35573 writes, 10.726 sec, 350.0 kb/call avg, 0.3 msec/call avg
sorted 394.6 Mhits, 100.0% done
total 60000000 docs, 2523017966 bytes
total 4054.196 sec, 622322 bytes/sec, 14799.48 docs/sec
total 2508 reads, 9.315 sec, 1083.1 kb/call avg, 3.7 msec/call avg
total 36474 writes, 10.862 sec, 346.0 kb/call avg, 0.2 msec/call avg
sorted 395.9 Mhits, 100.0% done
total 60000000 docs, 2533751399 bytes
total 4058.118 sec, 624366 bytes/sec, 14785.17 docs/sec
total 2600 reads, 9.010 sec, 1046.6 kb/call avg, 3.4 msec/call avg
total 35132 writes, 13.446 sec, 351.9 kb/call avg, 0.3 msec/call avg
        Finished loading at Sun Jul  3 08:34:27 PM CEST 2022

It turns out that in this test Manticore is 25 times faster in terms of data ingestion. Maybe I don’t know how to bake Logstash and Elasticsearch, but the import of the same dataset (but of a slightly smaller size) took Mark Litwintschik even longer - 4 days and 16 hours.

Maybe the problem is in Logstash, not Elasticsearch? Let’s go find out by writing directly to Elasticsearch. The index scheme is as follows:

"properties": {
  "name": {"type": "text"},
  "email": {"type": "keyword"},
  "description": {"type": "text"},
  "age": {"type": "integer"},
  "active": {"type": "integer"}
}

Starting Manticore and Elasticsearch using their official docker images like this:

docker run --name manticore --rm -p 9308:9308 -v $(pwd)/manticore_idx:/var/lib/manticore manticoresearch/manticore:5.0.2

docker run --name elasticsearch --rm -p 9200:9200 -e discovery.type=single-node -e xpack.security.enabled=false -v $(pwd)/es_idx/:/usr/share/elasticsearch/data docker.elastic.co/elasticsearch/elasticsearch:8.3.2

Let’s now put 50 million random docs like this to both:

{
  1,
  84,
  "स्वास्थ्य चिकित्सक की आवश्यकता है। हरम श्रमशील अवधि में मौजूद है और कुछ नहीं। परिणामस्वरूप यह न तो चुराता है और न ही इसे हटाता है।",
  "[email protected]",
  "Keely Doyle Sr."
}

हम सरल php स्क्रिप्ट्स का उपयोग करेंगे जिनका बैच आकार 10,000 और समवर्तीता 32 है (सर्वर पर 16 भौतिक CPU कोर हैं और हाइपर-थ्रेडिंग है)।

root@perf3 ~ # php load_elasticsearch.php 10000 32 1000000 50
तैयारी कर रहा...
कैश में पाया गया
क्वेरी कर रहा...
सम्मिलन समाप्त
कुल समय: 178.24096798897
280519 डॉक्यूमेंट प्रति सेकंड

root@perf3 ~ # php load_manticore.php 10000 32 1000000 50
तैयारी कर रहा...
कैश में पाया गया
क्वेरी कर रहा...
सम्मिलन समाप्त
कुल समय: 215.7572619915
231742 डॉक्यूमेंट प्रति सेकंड

ठीक है, अब एलास्टिक 21% तेज है, लेकिन फिर से एक दिलचस्प बारीकियां है: एलास्टिक सर्च द्वारा डिफ़ॉल्ट रूप से बफर किया जाता है नए डॉक्यूमेंट्स के लिए एक सेकंड के लिए, जो यह अर्थ है आखिरी बैच तुरंत खोज के लिए उपलब्ध नहीं होगा। यह कई मामलों में ठीक है, लेकिन चीजों को निष्पक्ष बनाने के लिए चलो /bulk?refresh=1 एलास्टिक सर्च में करते हैं और देखते हैं कि यह क्या देता है:

root@perf3 ~ # php load_elasticsearch.php 10000 32 1000000 50
तैयारी कर रहा...
कैश में पाया गया
क्वेरी कर रहा...
सम्मिलन समाप्त
कुल समय: 307.47588610649
162614 डॉक्यूमेंट प्रति सेकंड

इस मामले में मैन्टिकोर फिर से 43% तेज है।

यदि हम अधिकतम प्रदर्शन का परीक्षण करना चाहते हैं, तो हम कर सकते हैं:

दोनों एलास्टिक सर्च और मैन्टिकोर में शार्डिंग का उपयोग करें
एलास्टिक सर्च को अधिकतम पर आने वाले डॉक्यूमेंट्स को बफर करने दें
मैन्टिकोर सर्च में डेटा डालने के लिए MySQL इंटरफ़ेस का उपयोग करें (यह थोड़ा तेज है)
मैन्टिकोर सर्च में बिनलॉग को बंद करें (दुर्भाग्यवश, आप यह एलास्टिक सर्च में नहीं कर सकते)

यहाँ यह क्या देता है:

मैन्टिकोर:

// docker run -p9306:9306 --name manticore --rm -v $(pwd)/manticore_idx:/var/lib/manticore -e searchd_binlog_path= manticoresearch/manticore:5.0.2

root@perf3 ~ # php load_manticore_sharded.php 10000 32 1000000 32 50
तैयारी कर रहा...
कैश में पाया गया /tmp/bc9719fb0d26e18fc53d6d5aaaf847b4_10000_1000000
क्वेरी कर रहा...
सम्मिलन समाप्त
कुल समय: 55.874907970428
894856 डॉक्यूमेंट प्रति सेकंड

एलास्टिक सर्च:

root@perf3 ~ # php load_elasticsearch_sharded.php 10000 32 1000000 32 50
तैयारी कर रहा...
कैश में पाया गया
क्वेरी कर रहा...
सम्मिलन समाप्त
कुल समय: 119.96515393257
416788 डॉक्यूमेंट प्रति सेकंड

लेकिन, बारीकियां याद रखें: आपको दस्तावेजों को खोजने योग्य बनाने के लिए 13 सेकंड का समय और खर्च करना होगा:

root@perf3 ~ # curl -s -X POST "localhost:9200/_sql?format=json&pretty" -H 'Content-Type: application/json' -d'{"query": "select count(*) from user"}'                 {
  "columns" : [
    {
      "name" : "count(*)",
      "type" : "long"
    }
  ],
  "rows" : [
    [
      0
    ]
  ]
}

root@perf3 ~ # time curl -XPOST "localhost:9200/user/_refresh"
{"_shards":{"total":64,"successful":32,"failed":0}}
वास्तविक    0m13.505s
उपयोगकर्ता    0m0.003s
सिस्टम     0m0.000s

root@perf3 ~ # curl -s -X POST "localhost:9200/_sql?format=json&pretty" -H 'Content-Type: application/json' -d'{"query": "select count(*) from user"}'
{
  "columns" : [
    {
      "name" : "count(*)",
      "type" : "long"
    }
  ],
  "rows" : [
    [
      50000000
    ]
  ]
}

कुल मिलाकर, मैन्टिकोर डेटा इनजेशन प्रदर्शन के मामले में एलास्टिक सर्च से 2x तेज है। और डेटा तुरंत खोजने योग्य है जब बैच लोड होता है, न कि 2 मिनट बाद। इस परीक्षण के लिए उपयोग की जाने वाली स्क्रिप्ट्स यहाँ पाई जा सकती हैं।

यह किसमें लिखा है

एलास्टिक सर्च खुद जावा में लिखा गया है, और जो लुसीन पुस्तकालय यह उपयोग करता है और जिस पर निर्भर करता है वह भी जावा में लिखा गया है।
मैन्टिकोर C++ में लिखा गया है। यह क्या देता है:
- यह कोड लिखना कठिन है, हाँ।
- लेकिन हम हार्डवेयर के करीब हैं, इसलिए हम अधिक अनुकूलित कोड बना सकते हैं।
- JVM हीप आकार के बारे में सोचने की आवश्यकता नहीं है।
- JVM गारबेज कलेक्टर का अप्रत्याशित समय पर gc शुरू होने का कोई जोखिम नहीं है, जो प्रदर्शन को काफी प्रभावित कर सकता है।
- स्टार्टअप पर एक भारी JVM चलाने की आवश्यकता नहीं है जिसे काफी समय लगता है।

ओपन सोर्स

एलास्टिक सर्च अब शुद्ध ओपन सोर्स नहीं है। लाइसेंस 2021 में एपीआई 2 से एलक्टिक लाइसेंस में बदल दिया गया।
मैन्टिकोर पूर्णत: ओपन सोर्स है जिसमें डेमन के लिए GPLv2 लाइसेंस और कॉलम्नर लाइब्रेरी के लिए एपीआई 2 लाइसेंस है।

JSON बनाम SQL

दोनों एलास्टिक सर्च और मैन्टिकोर SQL और JSON दोनों कर सकते हैं, लेकिन अंतर है:

एलास्टिक सर्च डिफ़ॉल्ट रूप से JSON पर आधारित है जबकि मैन्टिकोर SQL-प्रथम है। SQL में जो हमें पसंद है वह यह है कि यदि हम इसका उपयोग करते हैं, तो कई चीजें प्रमाणित अवधारणा के चरण में करना बहुत आसान होता है। उदाहरण के लिए, यहाँ 2 क्वेरी हैं जो एक ही चीज करती हैं। क्या आप { और } ब्रैकेटों की गिनती में एक मिनट बिताना चाहते हैं या … ?

JSON vs SQL

SQL एलास्टिक सर्च में बहुत सीमित है, उदाहरण के लिए:
- आप SELECT id नहीं कर सकते
- आप INSERT/UPDATE/DELETE नहीं कर सकते
- आप सेवा आदेश नहीं चला सकते (क्लस्टर बनाएँ, स्थिति देखें, आदि)।
मैन्टिकोर में इसका उल्टा है:
- आप SQL के माध्यम से सब कुछ कर सकते हैं
- JSON केवल बुनियादी कार्यक्षमता को कवर करता है: खोज और डेटा संशोधन क्वेरी।

स्टार्टअप समय

कुछ मामलों में, आपको तेजी से सेवा लॉन्च करने में सक्षम होना चाहिए। उदाहरण के लिए, IoT (स्मार्ट उपकरणों) या कुछ ETL परिदृश्यों में।

एलास्टिक सर्च शुरू करने में लंबा समय लेता है।
मैन्टिकोर को शुरू करने में केवल कुछ सेकंड लगते हैं जिसमें 1.1 मिलियन डॉक्यूमेंट्स की तालिका है।

स्टार्टअप समय

निकट-वास्तविक समय बनाम वास्तविक समय

जैसा कि ऊपर उल्लेख किया गया है, डिफ़ॉल्ट रूप से जब आप डेटा को एलास्टिक सर्च में डालते हैं, तो यह केवल एक सेकंड के बाद खोजने योग्य हो जाता है। इसे समायोजित किया जा सकता है, लेकिन फिर इनजेशन दर काफी धीमी हो जाएगी, जैसा कि आप ऊपर देख सकते हैं।

मैन्टिकोर हमेशा वास्तविक समय के मोड में काम करता है।

पूर्ण पाठ खोज

Probably worth another article to explain it all. In short: both Manticore and Elasticsearch are good in terms of full-text search, have a lot in common, but there are a lot of differences, too. According to these objective tests (which is important when evaluating relevance) on almost default settings Manticore can give higher relevance than Elasticsearch. Here is the relevant pull request in BEIR(information retrieval benchmark).

Aggregations

Both Manticore and Elasticsearch provide rich aggregation functionality. You probably know what Elasticsearch can do, here’s what can be done in Manticore for you to compare:

Just grouping: SELECT release_year FROM films GROUP BY release_year LIMIT 5
Get aggregates: SELECT release_year, AVG(rental_rate) FROM films GROUP BY release_year LIMIT 5
Sort buckets: SELECT release_year, count(*) from films GROUP BY release_year ORDER BY release_year asc limit 5
Group by multiple fields at the same time: SELECT category_id, release_year, count(*) FROM films GROUP BY category_id, release_year ORDER BY category_id ASC, release_year ASC
Get N records from each bucket, not 1: SELECT release_year, title FROM films GROUP 2 BY release_year ORDER BY release_year DESC LIMIT 6
Sort inside a bucket: SELECT release_year, title, rental_rate FROM films GROUP BY release_year WITHIN GROUP ORDER BY rental_rate DESC ORDER BY release_year DESC LIMIT 5
Filter buckets: SELECT release_year, avg(rental_rate) avg FROM films GROUP BY release_year HAVING avg > 3
Use GROUPBY() to access aggregation key: SELECT release_year, count(*) FROM films GROUP BY release_year HAVING GROUPBY() IN (2000, 2002)
Group by array value: SELECT groupby() gb, count(*) FROM shoes GROUP BY sizes ORDER BY gb asc
Group by json node: SELECT groupby() color, count(*) from products GROUP BY meta.color
Get count of distinct values: SELECT major, count(*), count(distinct age) FROM students GROUP BY major
Use GROUP_CONCAT(): SELECT major, count(*), count(distinct age), group_concat(age) FROM students GROUP BY major
Use FACET after your main query and it will group the main query’s results: SELECT *, price AS aprice FROM facetdemo LIMIT 10 FACET price LIMIT 10 FACET brand_id LIMIT 5
Faceting by aggregation over another attribute: SELECT * FROM facetdemo FACET brand_name by brand_id
Faceting without duplicates: SELECT brand_name, property FROM facetdemo FACET brand_name distinct property
Facet over expressions: SELECT * FROM facetdemo FACET INTERVAL(price,200,400,600,800) AS price_range
Facet over multi-level grouping: SELECT *,INTERVAL(price,200,400,600,800) AS price_range FROM facetdemo FACET price_range AS price_range, brand_name ORDER BY brand_name asc;

Sorting of facet results:

SELECT * FROM facetdemo
FACET brand_name BY brand_id ORDER BY FACET() ASC
FACET brand_name BY brand_id ORDER BY brand_name ASC
FACET brand_name BY brand_id ORDER BY COUNT(*) DESC

Pagination in facet results:

SELECT * FROM facetdemo
FACET brand_name BY brand_id ORDER BY FACET() ASC  LIMIT 0,1
FACET brand_name BY brand_id ORDER BY brand_name ASC LIMIT 2,4
FACET brand_name BY brand_id ORDER BY COUNT(*) DESC LIMIT 4;

Schemaless

Elasticsearch is famous for the fact that you can write anything into it. With Manticore Search, you have to create a scheme beforehand. Many Elasticsearch experts recommend using static mapping, for example, https://octoperf.com/blog/2018/09/21/optimizing-elasticsearch/#index-mapping :

One of the very first things you can do is to define your indice mapping statically.

But we find dynamic mapping important in the area of log management and analysis. Since we want Manticore to be easy to use for that we have plans to enable dynamic mapping in Manticore, too.

Integrations

Both Elasticsearch and Manticore have clients for different programming languages.
MySQL wire protocol support:
- An important advantage of Manticore is the possibility to use MySQL clients to work with the server. Even if there is no official Manticore client for some language, there is definitely a MySQL client you can use. Using the command line MySQL client for administration is more convenient than using curl, because the commands are much more compact and the session is supported.
- The support for the MySQL protocol has also made it possible to support MySQL/Mariadb FEDERATED engine for tight integration between those and Manticore.
- In addition, Manticore can be used via ProxySQL .
HTTP JSON API is supported in both Elasticsearch and Manticore.
Logstash, Kibana: Manticore supports Kibana, but it’s a work in progress and in a beta stage. We’ll get those integrations up to speed soon. This is how you can try Manticore with Kibana:

# download manticore beta version with support for Kibana, check https://repo.manticoresearch.com/repository/kibana_beta/ for different OS versions
wget https://repo.manticoresearch.com/repository/kibana_beta/ubuntu/jammy.zip

# unarchive it
unzip jammy.zip

# install the packages
dpkg -i build/*

# switch Manticore to the mode supporting Kibana
mysql -P9306 -h0 -e "set global log_management = 0; set global log_management = 1;"

# start Kibana pointing it to Manticore Search instance listening on port 9308
docker run -d --name kibana --rm -e ELASTICSEARCH_HOSTS=http://127.0.0.1:9308 -p 5601:5601 --network=host docker.elastic.co/kibana/kibana:7.4.2

# install php and composer, download loading script and put into Manticore 1 million docs of fake users
apt install php composer php8.1-mysql
wget https://gist.githubusercontent.com/sanikolaev/13bf61bbe6c39350bded7c577216435f/raw/8d8029c0d99998c901973fd9ac66a6fb920deda7/load_manticore_sharded.php
composer require fakerphp/faker
php load_manticore_sharded.php 10000 16 1000000 16 1

# Kibana में एक इंडेक्स पैटर्न बनाना न भूलें (user*)

# Kibana सर्वर को रोकने के लिए `docker stop kibana` चलाएं

यदि सब कुछ सही रहा तो आपको यह देखना चाहिए:

Kibana with Manticore Search on the backend

पुनरुत्पादन

Elasticsearch और Manticore Search दोनों समानांतर पुनरुत्पादन का उपयोग करते हैं। Manticore पर हमने पहिया को फिर से नहीं बनाने का निर्णय लिया और Galera लाइब्रेरी के साथ एकीकरण किया, जिसका उपयोग Mariadb और Percona Xtradb क्लस्टर भी करते हैं।
Manticore और Elasticsearch में पुनरुत्पादन और क्लस्टरिंग प्रबंधित करने में महत्वपूर्ण अंतर यह है कि Elasticsearch के साथ आपको एक प्रतिलिपि सेट करने के लिए कॉन्फ़िगरेशन को संपादित करना होगा, जबकि Manticore में आपको ऐसा करने की आवश्यकता नहीं है: पुनरुत्पादन हमेशा सक्षम होता है और किसी अन्य नोड से कनेक्ट करना और सिंक करना बहुत आसान है:

JOIN CLUSTER

शार्डिंग और वितरित सूचियाँ

Elasticsearch की तुलना में, Manticore में अभी तक स्वचालित शार्डिंग नहीं है, लेकिन हाथ से शार्डिंग के लिए एक में कई सूचियों को मिलाना Elasticsearch की तुलना में आसान है:

Distributed index

दूरस्थ नोड पर स्थित एक इंडेक्स जोड़ने का भी समर्थन किया जाता है, बस दूरस्थ होस्ट, पोर्ट और इंडेक्स नाम निर्दिष्ट करें।

उपयोगिता और सीखने की सरलता

हमारा विचार है कि हम नहीं चाहते कि हमारे उपयोगकर्ता, चाहे वह एक डेवलपर हो या एक देवोप्स, डेटाबेस या खोज इंजनों में विशेषज्ञ बनें या Manticore उत्पादों का उपयोग करने के लिए पीएचडी हो। हम मानते हैं कि आपके पास अन्य चीजें करने के लिए हैं बजाय घंटों तक यह समझने में कि यह या वह सेटिंग इस या उस कार्यक्षमता को कैसे प्रभावित करती है। इसलिए, Manticore Search अधिकांश मामलों में डिफ़ॉल्ट पर ठीक से काम करना चाहिए।

हमारा अंतिम लक्ष्य Manticore Search को उपयोग करने और सीखने के लिए यथासंभव आसान बनाना है।

जैसा कि पहले उल्लेख किया गया है, Manticore SQL-प्रथम है जिसे हम महत्वपूर्ण मानते हैं जबकि आप Manticore के साथ शुरू कर रहे हैं जो Elasticsearch की तुलना में है।
Manticore इंटरएक्टिव पाठ्यक्रम प्रदान करता है - play.manticoresearch.com आपको Manticore से परिचित कराने के लिए आवश्यक कदमों के माध्यम से ले जाने के लिए।
विभिन्न OSes और प्रोग्रामिंग भाषाओं के लिए उदाहरणों के साथ शुरू करने के लिए एक गाइड है - https://manual.manticoresearch.com/Quick_start_guide .
आप प्रत्यक्ष रूप से डेवलपर्स से बात कर सकते हैं सार्वजनिक चैनलों में: Slack , Telegram , Forum ।
हमारे पास दस्तावेज़ीकरण के साथ एक विशेष शॉर्ट डोमेन mnt.cr है ताकि mnt.cr/<keyword> आपको विशेष मोड में दस्तावेज़ीकरण में खोज परिणामों पर ले जाए - यह तुरंत सबसे प्रासंगिक अनुभाग पर वापस लौटता है। यह तब विशेष रूप से सहायक होता है जब आपको किसी सेटिंग के विवरण को याद करने की आवश्यकता होती है, जैसे mnt.cr/max_packet_size ।

क्लाउड मूल

Elasticsearch Kubernetes ऑपरेटर प्रदान करता है।
Manticore Search Helm चार्ट प्रदान करता है।

अनिवार्य और वर्णात्मक उपयोग मोड

Elasticsearch में, अधिकांश चीजें केवल API के माध्यम से की जाती हैं। कोई तरीका नहीं है ( अब नहीं ) एक कॉन्फ़िगरेशन फ़ाइल में मैपिंग जोड़ने का ताकि वे स्टार्टअप के बाद तुरंत उपलब्ध हों।

Manticore, Kubernetes की तरह, दो उपयोग मोड का समर्थन करता है:

अनिवार्य: जब सब कुछ ऑनलाइन प्रबंधित किया जा सकता है CREATE TABLE/DROP TABLE/ALTER TABLE, CREATE CLUSTER/JOIN CLUSTER/DELETE CLUSTER आदि का उपयोग करके।
वर्णात्मक: जब आप एक कॉन्फ़िगरेशन फ़ाइल में मैपिंग परिभाषित कर सकते हैं, जो Manticore को CI/CD, ETL, और अन्य प्रक्रियाओं में एकीकृत करने के लिए बड़े पोर्टेबिलिटी और आसान मार्ग प्रदान करता है।

पर्कोलटे

पर्कोलटे या स्थायी क्वेरी तब होती है जब एक तालिका में क्वेरियाँ होती हैं, दस्तावेज़ नहीं, और खोज दस्तावेजों पर की जाती है, क्वेरियों पर नहीं। खोज परिणाम ऐसे प्रश्न होते हैं जो दस्तावेजों को संतुष्ट करते हैं। यह प्रकार की खोज उपयोगकर्ताओं की सदस्यताओं के लिए उपयोगी है: यदि आपने, उदाहरण के लिए, क्वेरी TV > 42 inches के लिए सदस्यता ली है, तो जब यह साइट पर दिखाई देता है, तो आपको इसके बारे में सूचित किया जाएगा। Manticore इस कार्यक्षमता को Elasticsearch के साथ प्रदान करता है। परीक्षणों के अनुसार जो हमने कुछ साल पहले किए थे Manticore में इस प्रकार की खोज की थ्रूपुट Elasticsearch की तुलना में काफी अधिक है।

अगला क्या है?

हम अब परियोजना को निम्नलिखित दिशाओं में विकसित कर रहे हैं:

ELK स्टैक में Elasticsearch का ड्रॉप-इन प्रतिस्थापन, ताकि Kibana और Logstash (या Opensearch विकल्प) इसके साथ ठीक से काम कर सकें। हम चाहते हैं कि लॉज विश्लेषण के लिए Manticore के साथ प्राप्त करना आसान लेटेंसी लोगों के लिए उपलब्ध हो। हमारे पास पहले से ही एक बीटा है।
Schemas के बिना मोड। जब आप एक लॉग विश्लेषण समाधान के रूप में Manticore का उपयोग करते हैं तो आपको स्कीमों के बारे में सोचने की आवश्यकता नहीं होती है।
स्वचालित शार्डिंग और शार्ड्स का आयोजन, ताकि आप Manticore में डेटा को और भी तेजी से लोड कर सकें और शार्ड्स बेहतर दोष सहिष्णुता के लिए अनुकूल क्रम में फैल जाएंगे।
आगे के प्रदर्शन अनुकूलन। हम बस और भी कम लेटेंसी और उच्च थ्रूपुट चाहते हैं, ताकि आप सस्ते हार्डवेयर पर Manticore चला सकें और पृथ्वी को हरा बना सकें।

निष्कर्ष

तो, अंत में, हमारे पास क्या है? Manticore अब उन लोगों के लिए दिलचस्प हो सकता है:

जो कम प्रतिक्रिया समय की परवाह करते हैं छोटे और बड़े डेटा दोनों पर,
जो SQL पसंद करते हैं,
जो कुछ सरल Elasticsearch से तेजी से अपनी एप्लिकेशन में खोज को एकीकृत करना चाहते हैं,
जो कुछ हल्का चाहते हैं जो तेजी से शुरू होता है,
जो पूर्णतया ओपन-सोर्स सॉफ़्टवेयर का उपयोग करने की चिंता करते हैं।

हम जारी रख रहे हैं!

⭐⭐⭐ आपका स्टार GitHub पर परियोजना का समर्थन करता है और हमें यह सोचने заставता है कि हम सही रास्ते पर हैं!⭐⭐⭐

Thank you!