۳۱ شهریور ۱۳۹۹
تعداد بازدید: 712
نرمافزار Splunk Enterprise چگونه دادهها را مدیریت میکند؟
آموزش اسپلانک
نرمافزار اسپلانک، دادههای خام را index کرده و آنها را در قالب رویدادهای (events) قابل جستجو تغییر شکل میدهد. اسپلانک بعد از تغییر دادهها به رخداد (event) آنها را تبدیل به گزارش، هشدار، داشبورد و غیره مینماید. این کار دادههای خام جمع آوری شده را قابل فهم و استفاده میکند.
پردازش رویدادها
دادههای ورودی، فرآیند data pipeline را طی میکنند.
پردازش رویدادها شامل دو مرحله است:
- Parsing
- Indexing
ابتدا قطعات بزرگِ داده، از طریق فرآیند parsing pipeline وارد شده و پس از تجزیه شدن در قالب event، وارد فرآیند indexing pipeline میشوند و سپس پردازش نهایی بر روی آنها صورت میگیرد. در خلال فرآیندهای parsing و indexing، نرمافزار اسپلانک دادهها را تغییر شکل میدهد که اکثر بخشهای این فرآیند توسط کاربر قابل شخصی سازی است.
در فرآیند parsing pipeline نرمافزار اسپلانک اقدامات زیر را انجام میدهد:
- استخراج مجموعهای از فیلدهای پیشفرض برای هر event شامل host، source و Sourcetype.
- پیکربندی character set encoding
- تشخیص انتهای خط با استفاده از قوانین line breaking. این مقادیر از طریق صفحه Set Sourcetype در Splunk Web قابل تنظیم هستند.
- تشخیص یا ایجاد timestamp، که در حین انجام این فرآیند، نرمافزار اسپلانک محدوده eventها را نیز مشخص میکند. تنظیمات timestamp از طریق صفحه Set Sourcetype قابل تغییر است.
- پنهانسازی دادهها بر اساس تنظیمات کاربر. در این مرحله شما میتوانید رویدادهای حساس مثل اطلاعات کارتهای بانکی را پنهان کنید.
- افزودن متادیتای دلخواه به رویدادهای ورودی بر اساس تنظیمات کاربر
در مرحله indexing pipeline، فرآیندهای زیر صورت میگیرد:
- تجزیه رویدادها به بخشهای کوچکتر (Segment) و قابل جستجو. درجه segmentation تاثیر مستقیمی بر سرعت، قابلیت جستجو و فشردهسازی دیسک دارد و توسط کاربر قابل تنظیم است.
- ایجاد ساختارهای indexing
- نوشتن داده خام و فایلهای index در محلی درون دیسک که فرآیند فشردهسازی پس از indexing در آنجا اتفاق میافتد.
- تفکیک فرآیندهای parsing pipeline و indexing pipeline برای Forwarderها اهمیت زیادی دارد. Heavy forwarderها میتوانند دادهها را به صورت محلی تجزیه کرده و سپس آنها را به indexerها بفرستند. اما نرمافزار Universal Forwarder خیلی جزئیتر فرآیند تجزیه را انجام میدهد و وظیفه اصلی را به عهده Indexer واگذار میکند.
تقویت و پالایش رویدادها
پس از تبدیل دادهها به رویدادها، میتوانید آنها را تبدیل به گزارش، هشدار و یا گراف مینماید. این کار دادههای خام جمع آوری شده را قابل استفاده و مفید مینماید.