مقدمه
مدیریت گزارش کارآمد برای نظارت و نگهداری برنامه ها در دنیای داده محور امروزی ضروری است. OpenSearch، یک موتور جستجو و تجزیه و تحلیل منبع باز، قابلیت جمع آوری و تجزیه و تحلیل گزارش قوی را ارائه می دهد. با ترکیب آن با فلوئنت بیت، یک ارسال کننده لاگ سبک، می‌توانیم لاگ‌های پایتون را برای نظارت و تجزیه و تحلیل بلادرنگ به OpenSearch ارسال کنیم. این راهنما شما را در راه اندازی این ترکیب قدرتمند راهنمایی می کند.
این تنظیمات به نفع توسعه دهندگان و مدیران سیستم است که نیاز به نظارت بر برنامه های پایتون در زمان واقعی دارند. با ارسال گزارش‌ها از برنامه‌های پایتون به OpenSearch، می‌توانید گزارش‌ها را تجزیه و تحلیل کنید، داشبورد ایجاد کنید، هشدارها را تنظیم کنید و بینش‌های ارزشمندی در مورد عملکرد و رفتار برنامه خود به دست آورید. این رویکرد مقیاس پذیر و مناسب برای پروژه های کوچک و محیط های تولید در مقیاس بزرگ است.
پیش نیازها
- پایتون نصب شده: مطمئن شوید پایتون روی سرور یا ماشین محلی شما نصب شده است.
- OpenSearch Cluster: شما باید به خوشه OpenSearch دسترسی داشته باشید. می توانید یک خوشه جدید ایجاد کنید یا از یک خوشه موجود استفاده کنید.
- فلوئنت بیت نصب شده: فلوئنت بیت باید روی سرور یا ماشینی که برنامه پایتون شما در آن اجرا می شود نصب شود.
مرحله 1 – پایتون را نصب کنید
ابتدا مخزن خود را به روز کنید و پایتون را نصب کنید. دستورات زیر را اجرا کنید:
sudo apt update
sudo apt install python3برای تایید نصب پایتون، اجرا کنید:
python3 --version
مرحله 2 – ثبت پایتون را تنظیم کنید
برنامه پایتون خود را برای ثبت پیام ها در یک فایل پیکربندی کنید. در اینجا یک تنظیم اساسی وجود دارد:
import logging
# Configure logging
logging.basicConfig(
filename='app.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)
# Sample log message
logging.info('This is a test log message.')این پیکربندی پیام‌های گزارش را با مهر زمان، سطح گزارش و قالب پیام در app.log می‌نویسد.
مرحله 3 – OpenSearch Cluster را ایجاد کنید
اگر خوشه OpenSearch ندارید، می‌توانید با استفاده از ابزار خط فرمان DigitalOcean، doctl، یکی ایجاد کنید. دستور زیر را اجرا کنید:
doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1
منطقه خود را با منطقه مورد نظر خود جایگزین کنید. همچنین، می‌توانید از کنترل پنل DigitalOcean برای ایجاد یک کلاستر به صورت دستی استفاده کنید. برای جزئیات در مورد نحوه انجام این کار، به این راهنمای ایجاد خوشه‌های OpenSearch از طریق کنترل پنل مراجعه کنید.
مرحله 4 – فلوئنت بیت را نصب کنید
برای نصب فلوئنت بیت از دستور زیر استفاده کنید:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
مرحله 5 – فلوئنت بیت را پیکربندی کنید
یک فایل پیکربندی به نام fluent-bit.conf ایجاد کنید تا تعریف کنید که فلونت بیت چگونه باید گزارش‌ها را بخواند و به OpenSearch ارسال کند. در اینجا یک نمونه پیکربندی است:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
[INPUT]
Name tail
Path /path/to/your/log/file.log
Tag python_logs
Refresh_Interval 5
[OUTPUT]
Name opensearch
Match python_logs
Host your-opensearch-host
Port 25060
HTTP_User your-username
HTTP_Passwd your-password
Index your-index-name
tls On
Suppress_Type_Name On- Path: مسیر app.log خود را مشخص کنید.
- Host: با میزبان OpenSearch خود جایگزین کنید.
- HTTP_User: نام کاربری OpenSearch شما.
- HTTP_Passwd: رمز عبور OpenSearch شما.
- Index: نام فهرستی که لاگ‌ها در آن ذخیره می‌شوند.
مرحله 6 – فلوئنت بیت را اجرا کنید
فلوئنت بیت را با فایل پیکربندی اجرا کنید:
/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf
مرحله 7 – بررسی گزارش‌ها در OpenSearch
برای اطمینان از ورود صحیح گزارش‌ها، داشبورد OpenSearch خود را بررسی کنید. شما باید گزارش های ارسال شده از فلوئنت بیت را مشاهده کنید.
مرحله 8 – یک الگوی شاخص در داشبوردهای OpenSearch ایجاد کنید
- با اطلاعات کاربری خود وارد داشبوردهای OpenSearch شوید.
- منوی سمت چپ را باز کنید و روی Index Management در قسمت Management کلیک کنید.
- از منوی Indexes بر روی Create index کلیک کنید.
- نام ایندکس را وارد کنید، تنظیمات دیگر را در صورت نیاز پیکربندی کنید و روی Create کلیک کنید.
نتیجه
با دنبال کردن این مراحل، سیستمی را برای ارسال لاگ های پایتون به OpenSearch با استفاده از Fluent Bit راه اندازی کرده اید. این راه‌اندازی به شما امکان می‌دهد تا لاگ‌ها را به‌طور کارآمد مدیریت و تجزیه و تحلیل کنید، و به شما کمک می‌کند تا برنامه‌های خود را به طور موثر نگهداری و نظارت کنید. با OpenSearch و Fluent Bit، شما یک راه حل قدرتمند برای تجزیه و تحلیل و پایش گزارش بلادرنگ دارید که برای برآوردن نیازهای هر برنامه کاربردی مبتنی بر پایتون طراحی شده است.
