प्रस्तावना

Fluent Bit एक ओपन सोर्स और मल्टी-प्लेटफॉर्म उपकरण है जो लॉग प्रोसेसिंग और वितरण के लिए है।
आजकल डेटा विभिन्न स्रोतों से आता है और Fluent Bit आपकी सभी लॉग डेटा को एकत्रित और प्रोसेस करने में मदद कर सकता है।
अब, Manticore भी Fluent Bit के उपयोग का समर्थन करता है एक प्रोसेसिंग पाइपलाइन के रूप में। इससे एकत्रित और परिवर्तित डेटा को Manticore में भेजा जा सकता है।

आइए dpkg.log को अनुक्रमित करने के एक सरल उदाहरण का विश्लेषण करते हैं, जो डेबियन पैकेज प्रबंधक की एक मानक लॉग फ़ाइल है। लॉग का अपना एक सरल ढांचा है, जैसा कि नीचे दिखाया गया है:

2023-05-31 10:42:55 status triggers-awaited ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 trigproc libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 status half-configured libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 status installed libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 trigproc systemd:amd64 245.4-4ubuntu3.21 <none>

कॉन्फ़िगरेशन

यहाँ Fluent कॉन्फ़िगरेशन फ़ाइल का एक उदाहरण है जिसका उपयोग कोई Manticore के साथ काम करने के लिए कर सकता है:

[SERVICE]
	flush    	1
	daemon   	On
	log_level	info

[INPUT]
	name tail
	path /var/log/dpkg.log
	inotify_watcher false
	read_from_head true

[OUTPUT]
	name es
	match *
	host 127.0.0.1
	port 9308
	index  dpkg_log

ध्यान दें कि हमारा उदाहरण डॉकर में चलाने के लिए है, इसलिए हम FluentBit को डेमन मोड में और INPUT inotify_watcher विकल्प को अक्षम करके शुरू करते हैं ताकि Docker वातावरण में संभावित समस्याओं से बचा जा सके जो त्रुटियों की ओर ले जा सकती हैं। इसके अलावा, हम मानते हैं कि Manticore डिफ़ॉल्ट http पोर्ट 9308 पर शुरू किया गया है।

परिणाम

अब आप ऊपर दिए गए कॉन्फ़िगरेशन का उपयोग करके बस Fluentbit चला सकते हैं। dpkg लॉग से डेटा Manticore को भेजा जाएगा और सही ढंग से अनुक्रमित किया जाएगा।

यहाँ बनाए गए तालिका की परिणामस्वरूप स्कीमा और डालें गए दस्तावेज़ का एक उदाहरण है:

mysql> DESCRIBE dpkg_log;
+-------------+--------+----------------+
| Field       | Type   | Properties     |
+-------------+--------+----------------+
| id          | bigint |                |
| @timestamp  | text   | indexed stored |
| log         | text   | indexed stored |
+-------------+--------+----------------+

mysql> SELECT * FROM dpkg_log LIMIT 3\G
*************************** 1. row ***************************
id: 7856533729353662465
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 startup archives install
*************************** 2. row ***************************
id: 7856533729353662466
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 install base-passwd:amd64 <none> 3.5.47
*************************** 3. row ***************************
id: 7856533729353662467
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 status half-installed base-passwd:amd64 3.5.47

निष्कर्ष

Manticore के साथ Fluent Bit का एकीकरण लॉग डेटा को हैंडल और अनुक्रमित करने के लिए एक शक्तिशाली और प्रभावी समाधान प्रदान करता है, जिससे इसे विभिन्न अनुप्रयोगों के लिए अधिक सुलभ और प्रबंधनीय बनाया जा सकता है। इस सरल कॉन्फ़िगरेशन और स्पष्ट उदाहरण के द्वारा, यहां तक कि जो इन उपकरणों के नए हैं वो भी जल्दी से शुरू कर सकते हैं और Manticore और Fluent Bit के संयुक्त रूप से शक्तिशाली क्षमताओं का लाभ उठा सकते हैं। चाहे आप मानक लॉग से निपट रहे हों या अधिक जटिल डेटा स्रोतों के साथ, यह सहयोग प्रक्रिया को सरल बनाता है और प्रभावी डेटा प्रबंधन के लिए नए संभावनाओं के द्वार खोलता है।