مقدمه
در این آموزش، شما یاد خواهید گرفت که چگونه لاگ‌ها را از Fluent Bit که بر روی یک MongoDB مدیریت‌شده به‌صورت خودکار در حال اجرا بر روی یک Droplet اوبونتو نصب شده است، به پایگاه داده OpenSearch مدیریت‌شده DigitalOcean ارسال کنید.
OpenSearch یک مجموعه جستجو و تحلیل متن‌باز است که از انشعاب Elasticsearch و Kibana به‌وجود آمده است. این سیستم از وارد کردن داده‌ها به‌صورت بلادرنگ، جستجوهای پیشرفته و امنیت قوی پشتیبانی می‌کند و برای برنامه‌های تجارت الکترونیکی، نظارت بر IT و امور مالی ایده‌آل است. با ویژگی‌هایی مانند پشتیبانی از کوئری‌های SQL، یادگیری ماشین و هشداردهی، OpenSearch به‌طور مداوم از طریق توسعه فعال جامعه به‌روزرسانی می‌شود.
Fluent Bit یک پردازشگر و ارسال‌کننده لاگ سبک‌وزن و متن‌باز است که داده‌های لاگ را جمع‌آوری، پردازش و ارسال می‌کند. این ابزار برای عملکرد بهینه طراحی شده است و برای محیط‌هایی با منابع محدود مانند کانتینرها و محاسبات لبه‌ای مناسب است. Fluent Bit به‌طور مؤثری لاگ‌ها را تجمیع کرده و به مقصدهای مختلف ارسال می‌کند و به همین دلیل در زمینه‌های ثبت لاگ و نظارت بلادرنگ بسیار محبوب است.
پیش‌نیازها
قبل از شروع، اطمینان حاصل کنید که موارد زیر را دارید:
- یک حساب کاربری در DigitalOcean با دسترسی به OpenSearch مدیریت‌شده.
- دانش پایه‌ای از OpenSearch و Fluent Bit.
- دسترسی به داشبورد OpenSearch.
نصب Fluent Bit
Fluent Bit را می‌توان در چندین پلتفرم نصب کرد. در اینجا از پلتفرم اوبونتو استفاده می‌کنیم. دستور زیر را در ترمینال Droplet خود اجرا کنید:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | shبرای اطلاعات بیشتر، می‌توانید به مستندات رسمی مراجعه کنید.
پیکربندی Fluent Bit
فایل پیکربندی Fluent Bit به‌طور پیش‌فرض در مسیر /etc/fluent-bit/fluent-bit.conf قرار دارد. شما باید این فایل را تغییر دهید تا لاگ‌ها به OpenSearch ارسال شوند.
ورودی‌های Fluent Bit
Fluent Bit مجموعه‌ای از پلاگین‌های ورودی را ارائه می‌دهد که به آن اجازه می‌دهد داده‌های لاگ و رویداد را از منابع مختلف جمع‌آوری کند. از آنجایی که شما قرار است لاگ‌ها را از فایل‌های لاگ ارسال کنید، از پلاگین ورودی tail استفاده خواهید کرد.
فایل fluent-bit.conf را به‌صورت زیر به‌روزرسانی کنید:
[INPUT] name tail Path /var/log/mongodb/mongod.logبرای مطالعه بیشتر در مورد پلاگین‌های ورودی، می‌توانید به دفترچه راهنمای رسمی Fluent Bit مراجعه کنید.
خروجی‌های Fluent Bit
مانند پلاگین‌های ورودی، Fluent Bit یک پلاگین خروجی ارائه می‌دهد که لاگ‌های جمع‌آوری‌شده و پردازش‌شده را به مقاصد مختلف ارسال می‌کند. از آنجا که ما قرار است لاگ‌ها را به OpenSearch ارسال کنیم، از پلاگین خروجی OpenSearch استفاده خواهیم کرد.
[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name Onبرای اطلاعات بیشتر در مورد پلاگین‌های خروجی، به دفترچه راهنمای رسمی Fluent Bit مراجعه کنید.
پس از انجام تنظیمات، سرویس Fluent Bit را راه‌اندازی کنید:
systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.serviceدسترسی به لاگ‌های MongoDB در داشبورد OpenSearch
- به داشبورد OpenSearch در حساب کاربری DigitalOcean خود بروید.
- با استفاده از آیکون همبرگری، بر روی “Dashboard Management” در بخش مدیریت کلیک کنید.
- روی “Index patterns” کلیک کرده و “Create Index pattern” را انتخاب کنید.
- نام الگوی ایندکس را مطابق با نام استفاده شده در فایل
fluent-bit.confوارد کنید. - پس از آماده شدن الگوی ایندکس، می‌توانید لاگ‌های MongoDB را از تب “Discover” مشاهده کنید.
نتیجه
تبریک می‌گویم! شما با موفقیت یاد گرفتید که چگونه از Fluent Bit برای جمع‌آوری و ارسال لاگ‌های MongoDB خود-میزبان به یک پایگاه داده OpenSearch مدیریت‌شده در DigitalOcean استفاده کنید. در این آموزش نحوه پیکربندی Fluent Bit و ایجاد یک الگوی ایندکس در OpenSearch را یاد گرفتید تا بتوانید به‌طور مؤثر لاگ‌های MongoDB خود را نظارت و تحلیل کنید.
