نرم‌افزار اسپلانک، داده‌های خام را index کرده و آن‌ها را در قالب رویدادهای (events) قابل جستجو تغییر شکل می‌دهد. اسپلانک بعد از تغییر داده‌ها به رخداد (event) آن‌ها را تبدیل به گزارش، هشدار، داشبورد و غیره می‌نماید. این کار داده‌های خام جمع آوری شده را قابل فهم و استفاده می‌کند.

داده‌های ورودی، فرآیند data pipeline را طی می‌کنند.

پردازش رویدادها شامل دو مرحله است:

• Parsing
• Indexing

 ابتدا قطعات بزرگِ داده، از طریق فرآیند parsing pipeline وارد شده و پس از تجزیه شدن در قالب event، وارد فرآیند indexing pipeline می‌شوند و سپس پردازش نهایی بر روی آن‌ها صورت می‌گیرد. در خلال فرآیندهای parsing و indexing، نرم‌افزار اسپلانک داده‌ها را تغییر شکل می‌دهد که اکثر بخش‌های این فرآیند توسط کاربر قابل شخصی سازی است.

در فرآیند parsing pipeline نرم‌افزار اسپلانک اقدامات زیر را انجام می‌دهد:

• استخراج مجموعه‌ای از فیلدهای پیش‌فرض برای هر event شامل host، source و Sourcetype.
• پیکربندی character set encoding
• تشخیص انتهای خط با استفاده از قوانین line breaking. این مقادیر از طریق صفحه Set Sourcetype در Splunk Web قابل تنظیم هستند.
• تشخیص یا ایجاد timestamp، که در حین انجام این فرآیند، نرم‌افزار اسپلانک محدوده eventها را نیز مشخص می‌کند. تنظیمات timestamp از طریق صفحه Set Sourcetype قابل تغییر است.
• پنهان‌سازی داده‌ها بر اساس تنظیمات کاربر. در این مرحله شما می‌توانید رویدادهای حساس مثل اطلاعات کارت‌های بانکی را پنهان کنید.
• افزودن متادیتای دلخواه به رویدادهای ورودی بر اساس تنظیمات کاربر

در مرحله indexing pipeline، فرآیندهای زیر صورت می‌گیرد:

• تجزیه رویدادها به بخش‌های کوچکتر (Segment) و قابل جستجو. درجه segmentation تاثیر مستقیمی بر سرعت، قابلیت جستجو و فشرده‌سازی دیسک دارد و توسط کاربر قابل تنظیم است.
• ایجاد ساختارهای indexing
• نوشتن داده خام و فایل‌های index در محلی درون دیسک که فرآیند فشرده‌سازی پس از indexing در آنجا اتفاق می‌افتد.
• تفکیک فرآیندهای parsing pipeline و indexing pipeline برای Forwarderها اهمیت زیادی دارد. Heavy forwarderها می‌توانند داده‌ها را به صورت محلی تجزیه کرده و سپس آن‌ها را به indexerها بفرستند. اما نرم‌افزار Universal Forwarder خیلی جزئی‌تر فرآیند تجزیه را انجام می‌دهد و وظیفه اصلی را به عهده Indexer واگذار می‌کند.

پس از تبدیل داده‌ها به رویدادها، می‌توانید آن‌ها را تبدیل به گزارش، هشدار و یا گراف می‌نماید. این کار داده‌های خام جمع آوری شده را قابل استفاده و مفید می‌نماید.

طراحی، مشاوره، پیاده‌سازی و تامین لایسنس اسپلانک در ایران

آرمان داده پویان پیشگام در ارائه راهکارهای SIEM