Ağ ve SOC Akademisi

Aşama 6: SOC · Ders 6.3

SIEM 1: toplama, ayrıştırma, normalleştirme, korelasyon

Bir SIEM'in bir olayı kaynaktan alarma kadar hangi adımlardan geçirdiğini anlatabilir, günlük alım hacmini ve depolamayı hesaplayabilir, bir korelasyon kuralını ürüne bağlı olmadan mantık olarak yazabilir ve sessiz kalan bir kaynağı olay olarak ele alabilirsiniz.

  • 65 dk
  • 30 soru
  • 5 antrenman

Önceki derslerde tek tek kaynakları okudunuz: Windows olay günlüğü, Linux'un auth.log'u, güvenlik duvarı satırları ve Log biçimleri dersinde bunların syslog, CEF, JSON ve XML biçimleri. Bir SOC'ta bu kaynakların hepsi tek bir yere akar: SIEM'e (security information and event management, güvenlik bilgi ve olay yönetimi). Bu derste bir olayın kaynaktan alarma kadar izlediği yolu adım adım kuracağız: nasıl toplandığını, nerede ayrıştırıldığını, ortak bir şemaya nasıl çevrildiğini, hangi bağlamla zenginleştirildiğini, nerede ve ne kadar saklandığını, korelasyon kuralının onu nasıl yakaladığını. Sorgu yazmayı (KQL ve SPL) bir sonraki ders SIEM 2'ye, kural yazmanın ortak dili Sigma'yı Tespit kuralları dersine bırakıyoruz.

SIEM ne yapar: bir boru hattı

SIEM tek bir program gibi görünür ama aslında bir boru hattıdır (pipeline). Her olay aynı istasyonlardan geçer ve her istasyon bir öncekinin işine güvenir:

  • Toplama (collection, ingestion): Olay kaynağından alınıp SIEM'e taşınır.
  • Ayrıştırma (parsing): Ham satır alanlara bölünür: zaman, kaynak adres, kullanıcı, sonuç.
  • Normalleştirme (normalization): Farklı kaynakların farklı adlı alanları tek bir şemanın adlarına çevrilir.
  • Zenginleştirme (enrichment): Olayda yazmayan bağlam eklenir: bu cihaz kimin, bu kullanıcı yönetici mi, bu adres hangi ülkede, kötü bilinen bir adres mi.
  • Depolama ve indeksleme (storage, indexing): Olay aranabilir biçimde saklanır, yaşlandıkça daha ucuz katmanlara iner.
  • Korelasyon ve alarm (correlation, alerting): Kurallar olayların üzerinde çalışır; tek olaya, sayıya ya da sıraya bakarak alarm üretir.

Bu sıranın pratik sonucu şudur: bir alarmın kalitesi, en zayıf istasyonun kalitesidir. Toplanmayan olay hiçbir kuralda görünmez; yanlış ayrıştırılan olayda kaynak adres boş kalır ve adrese göre gruplayan kural onu sayamaz. SIEM'den şikâyet edilen sorunların çoğu kuraldan değil, kuraldan önceki istasyonlardan çıkar.

Splunk Enterprise Security, Elastic Security, Microsoft Sentinel ve IBM QRadar gibi ürünlerin hepsi bu işi yapar; burada adları örnek olarak anılır, mantık hepsinde aynıdır.

Toplama: ajanlı, ajansız ve kayıp

Olayı SIEM'e getirmenin iki temel yolu vardır.

Ajanlı toplama (agent-based): Kaynağın üzerine küçük bir program kurulur; dosyaları ve olay günlüklerini okur, sıkıştırıp şifreli olarak gönderir, bağlantı koptuğunda bekletir. Örnekler: Splunk Universal Forwarder, Elastic Agent ve Beats ailesi (Filebeat, Winlogbeat), Microsoft Sentinel için Azure Monitor Agent. Bu programların genel adı iletici (forwarder) ya da gönderici (shipper)dir. Bedeli, her sunucuda kurulup izlenecek bir yazılım daha olmasıdır.

Ajansız toplama (agentless): Kaynağın kendi yeteneği kullanılır. Üç yaygın biçimi vardır:

  • Syslog: Güvenlik duvarı, switch, router ve Linux sistemleri olayları bir toplayıcıya kendileri iter. Klasik taşıma UDP 514'tür (RFC 5426); TCP ve TLS üzerinden de gönderilebilir.
  • WEF (Windows Event Forwarding): Windows'un yerleşik iletme özelliği; seçilen olayları bir WEC (Windows Event Collector) sunucusuna toplar. Ek yazılım gerektirmez, Grup İlkesi ile dağıtılır.
  • API ile çekme (API pull): Bulut hizmetlerinin (Microsoft 365, AWS CloudTrail ve benzerleri) olaylarını SIEM belirli aralıklarla hizmetin arayüzünden ister. Microsoft Sentinel bunları veri bağlayıcı (data connector) adıyla sunar.

En önemli soru şudur: olay yolda kaybolursa kimin haberi olur? UDP üzerinden giden bir syslog iletisinin teslim edildiğine dair hiçbir onay yoktur; toplayıcı kapalıysa ya da hat doluysa ileti sessizce yok olur. Ajanlar ve WEF olayları bağlantı geri gelene kadar bekletir, ama bu tampon (buffer) sınırsız değildir. Microsoft'un WEF belgesine göre istemcinin tamponu kendi yerel olay günlüğüdür; günlük dolup en eski olayların üzerine yazılırsa toplayıcıya hiçbir kayıp bildirimi gitmez ve olay akışında bir boşluk işareti de kalmaz.

Bu yüzden kritik kaynaklar mümkünse onaylı ve tamponlu bir yoldan gelmeli ve hiçbir kaynağın gelmeye devam ettiği varsayılmamalıdır.

Ayrıştırma ve normalleştirme

Toplanan olay önce bir metin satırıdır. Ayrıştırma, bu satırdan alanları çıkarmaktır. Log biçimleri dersinde bunu biçim biçim gördünüz; burada soru ne zaman yapıldığıdır.

  • İndeksleme zamanında (index time): Olay diske yazılırken alanlar çıkarılır ve saklanır. Sorgu hızlıdır, ama ayrıştırıcı yanlışsa yanlış alanlar kalıcı olarak yazılmıştır. Bu yaklaşıma yazarken şema (schema on write) da denir.
  • Arama zamanında (search time): Ham olay saklanır, alanlar sorgu çalışırken çıkarılır. Ayrıştırıcı düzeltildiğinde eski veriye de hemen uygulanır; bedeli her sorguda yeniden yapılan iştir. Buna okurken şema (schema on read) denir.

Splunk'ın belgesi indeksleme zamanında özel alan çıkarmanın hem indekslemeyi hem aramayı yavaşlatabileceğini söyler ve alan çıkarmanın çoğunu arama zamanına bırakmayı önerir; zaman damgası, satır bölme ve host, source, sourcetype gibi temel alanlar ise indeksleme zamanında belirlenir. Microsoft Sentinel'in ASIM'i de çoğunlukla sorgu zamanında çalışan ayrıştırıcılar kullanır, büyük veride hız için bazı şemaları alım zamanında normalleştirilmiş tablolara da yazabilir.

Normalleştirme, ayrıştırılmış alanları ortak bir şemaya (schema) çevirmektir. Windows 4625 olayında kaynak adres IpAddress, sshd satırında from sözcüğünden sonraki adres, bir VPN cihazında belki remip adını taşır. Normalleştirmeden sonra üçü de aynı alandadır ve tek bir kural üçünü birden okur. Log biçimleri dersinde ECS ve OCSF'yi gördünüz; ürünlerin kendi şemaları da vardır: Splunk'ın CIM'i (Common Information Model) ve Microsoft Sentinel'in ASIM'i (Advanced Security Information Model). Microsoft ASIM'in faydasını şöyle anlatır: ASIM'i öğrenen analist için sorgu yazmak basitleşir, çünkü alan adları hep aynıdır.

Zenginleştirme, depolama ve maliyet

Ham olay yalnızca kendini bilir: 192.168.10.37 adresinden bir oturum açıldı. Analistin sorduğu ise başkadır: bu adres o saatte hangi cihazdaydı, cihaz kimin, kullanıcı yönetici mi, dış adres hangi ülkede ve kötü bilinen bir adres mi? Zenginleştirme bu soruların cevabını olaya ekler:

  • Varlık bağlamı (asset context): Cihaz envanterinden sahibi, rolü, kritikliği. Bir etki alanı denetleyicisindeki olay bir test makinesindekiyle aynı önemde değildir.
  • Kimlik bağlamı (identity context): Dizin hizmetinden bölümü, yöneticisi, ayrıcalıklı gruplara üyeliği.
  • GeoIP: Dış IP adresinin yaklaşık ülkesi ve kurumu. Yaklaşıktır; VPN ve bulut çıkış noktaları onu yanıltır.
  • Tehdit istihbaratı araması (threat intelligence lookup): Adres, alan adı ya da dosya özeti bilinen kötü göstergeler listesinde var mı?

Ardından olay saklanır. SIEM'ler veriyi yaşına göre katmanlara (tier) ayırır: sıcak (hot) katman yeni yazılan ve en çok sorgulanan veridir, hızlı ve pahalı diskte durur; ılık (warm) artık yazılmayan ama hâlâ sorgulanan veridir; soğuk (cold) seyrek sorgulanan, daha ucuz depoya taşınmış veridir; en sonda veri silinir ya da arşive alınır. Ne kadar süre tutulacağına saklama süresi (retention) denir; yasal zorunluluklar ve olay incelemesinin ne kadar geriye bakması gerektiği belirler.

Asıl sınır disk değil, alım hacmidir (ingest volume): bulut SIEM'lerinin faturası ve pek çok ürünün lisansı günde alınan veri miktarına bağlanır. Saklama süresini kısaltmak depolamayı ucuzlatır ama alım faturasını değiştirmez. Bu yüzden ilk soru 'neyi hiç almayalım'dır: hata ayıklama (debug) logları, aynı olayın kopyaları, hiçbir kuralın ve incelemenin kullanmadığı olaylar. Bir olayı bir kural kullanmıyor, bir incelemede aranmıyor ve bir yasa istemiyorsa almayın.

Korelasyon: tek olaydan diziye

Korelasyon kuralı (correlation rule), olayların üzerinde çalışan ve koşul sağlandığında alarm üreten mantıktır. Dört temel türü vardır:

  • Tek olay kuralı (single-event rule): Tek bir olay yeterlidir. Örnek: Event ID 1102, güvenlik günlüğü temizlendi.
  • Eşik kuralı (threshold rule): Belli bir sürede aynı türden olay sayısı bir sınırı aşar. Örnek: aynı kaynaktan 10 dakikada en az 10 başarısız oturum.
  • Toplama kuralı (aggregation rule): Olaylar bir alana göre gruplanır ve sayıdan başka bir şey hesaplanır: farklı değer sayısı, toplam bayt, oran. Örnek: aynı kaynaktan 10 dakikada en az 10 farklı kullanıcı adına başarısız oturum (parola püskürtme).
  • Dizi kuralı (sequence rule): Olayların sırası önemlidir: önce A, sonra belli süre içinde B. Kural, A'yı gördüğünü hatırlamak, yani durum (state) tutmak zorundadır.

Dersin çözümlü örneği bir dizi kuralıdır: çok sayıda 4625, ardından aynı kaynaktan bir 4624. Tek başına 4625 dizisi bir denemedir; arkasından gelen 4624, denemenin tuttuğunu söyler. Mantık şöyle yazılır:

  • Olayları kaynak adrese göre grupla.
  • Bir kaynak için 10 dakikalık kayan bir pencerede en az 10 tane 4625 say. Koşul sağlanınca bu kaynağı 'şüpheli' olarak 10 dakika boyunca hatırla.
  • Bu süre içinde aynı kaynaktan bir 4624 gelirse alarm üret; alarmda kaynak adresi, 4624'ün kullanıcısını ve hedef sunucuyu taşı.
  • Aynı kaynak için bir saat içinde ikinci alarm üretme (bastırma, suppression).

Kaynağa göre gruplamak bilinçli bir seçimdir: kullanıcıya göre gruplasaydık her hesaba bir deneme yapan parola püskürtmeyi kaçırırdık. Çok sayıda adresten tek hesaba gelen dağıtık denemeyi ise bu kural kaçırır; onun için kullanıcıya göre gruplayan ikinci bir kural gerekir. MITRE ATT&CK bu davranışları T1110 Brute Force altında toplar: T1110.001 Password Guessing, T1110.003 Password Spraying.

Davranış, zaman ve sessiz kaynaklar

Kurallar bilinen kalıpları arar. Bilinmeyeni aramanın yolu UEBA'dır (user and entity behavior analytics, kullanıcı ve varlık davranış analizi): SIEM her kullanıcı ve cihaz için geçmişten bir temel çizgi (baseline) çıkarır (çalışma saatleri, bağlandığı sunucular, indirdiği veri) ve sapmayı puanlar. Gece 03:00'te ilk kez bir veritabanı sunucusuna bağlanan muhasebe kullanıcısı bir kural ihlali değildir ama olağan dışıdır. UEBA hüküm değil risk puanı üretir; temel çizgisi oturmamış yeni bir kullanıcı başta çok yanlış alarm verir.

Her olayın iki zamanı vardır: olay zamanı (event time), olayın kaynakta oluştuğu an; alınma zamanı (ingestion time), SIEM'e ulaştığı an. Aradaki fark gecikmedir ve bazen dakikalar, tampondan boşalan bir ajanda saatler sürer. Her beş dakikada bir çalışıp olay zamanına göre son beş dakikaya bakan bir kural, iki dakika geç gelen bir olayı hiçbir çalıştırmada görmez: ilk çalıştırmada olay henüz yoktur, ikincisinde artık pencerenin dışındadır. Microsoft bu durumu Sentinel belgesinde tam bu örnekle anlatır ve çözümü de verir: geriye bakış penceresini gecikme kadar genişletmek, çift alarmı önlemek için de olayı alınma zamanına göre tek bir pencereye bağlamak.

Son olarak: sessiz kalan bir kaynak da bir olaydır. Etki alanı denetleyicisinden 40 dakikadır olay gelmiyorsa ya ajan durmuştur, ya ağ kopmuştur, ya ayrıştırıcı bozulmuştur, ya da biri iletmeyi bilerek kesmiştir. Dört durumda da o kaynağı izleyen kuralların hepsi kördür ve hiçbiri alarm üretmez. Alarm gelmemesi her şeyin yolunda olduğu anlamına gelmez; bu yüzden her kaynağın son olay zamanı ve hacmi de bir kuralla izlenir.

Akılda kalsın

  • SIEM bir boru hattıdır: toplama, ayrıştırma, normalleştirme, zenginleştirme, depolama, korelasyon. Alarm, en zayıf istasyon kadar iyidir; toplanmayan ya da yanlış ayrıştırılan olay hiçbir kuralda görünmez.
  • UDP syslog kaybı sessizdir; WEF ve ajanlar tamponlar ama tampon sınırlıdır. WEF'in tamponu istemcinin yerel günlüğüdür ve üzerine yazıldığında toplayıcıya bildirim gitmez.
  • Asıl sınır alım hacmidir: günlük hacim = EPS × ortalama olay boyutu × 86 400. Saklama süresini kısaltmak alım faturasını düşürmez; ilk soru neyi hiç almayacağınızdır.
  • Kural türleri: tek olay, eşik (sayı), toplama (farklı değer sayısı, toplam, oran), dizi (önce A sonra B, durum tutar). Çok sayıda 4625 ardından aynı kaynaktan 4624 bir dizi kuralıdır ve kaynağa göre gruplanır.
  • Olay zamanı ile alınma zamanı ayrıdır: geriye bakış gecikmeden kısaysa geç gelen olay kaçar. Sessiz kalan kaynak da bir olaydır; her kritik kaynağın son olay zamanını bir kural izler.

Terimler

TürkçeEnglishAnlamı
Güvenlik bilgi ve olay yönetimiSIEM (security information and event management)Çok sayıda kaynaktan olay toplayıp ortak biçime çeviren, saklayan, kurallarla ilişkilendirip alarm üreten sistem.
Toplama, alımCollection, ingestionOlayın kaynaktan alınıp SIEM'e taşınması.
AjanAgentKaynağa kurulan, olayları okuyup tamponlayarak SIEM'e gönderen program.
İletici, göndericiForwarder, shipperOlayları SIEM'e ileten ajanların genel adı: Splunk Universal Forwarder, Elastic Agent, Beats.
Windows olay iletmeWEF (Windows Event Forwarding)Windows'un yerleşik özelliği; seçilen olayları bir WEC sunucusuna iter ya da WEC onları çeker.
AyrıştırmaParsingHam log satırından zaman, adres, kullanıcı gibi alanların çıkarılması.
İndeksleme zamanı, arama zamanıIndex time, search timeAyrıştırmanın veri yazılırken (yazarken şema) ya da sorgu çalışırken (okurken şema) yapılması.
NormalleştirmeNormalizationFarklı kaynakların alan adlarını ve değerlerini ortak bir şemaya çevirme.
Ortak bilgi modeliCommon schema (Splunk CIM, Sentinel ASIM)Bir olay türü için alan adlarını ve değer biçimlerini tanımlayan şema.
ZenginleştirmeEnrichmentOlaya varlık, kimlik, GeoIP ve tehdit istihbaratı gibi olayda yazmayan bağlamın eklenmesi.
Sıcak, ılık, soğuk katmanHot, warm, cold tierVerinin yaşına ve sorgulanma sıklığına göre hızlı ve pahalıdan yavaş ve ucuza doğru saklandığı katmanlar.
Saklama süresiRetentionVerinin silinmeden ya da arşive alınmadan önce SIEM'de tutulduğu süre.
Saniyede olayEPS (events per second)SIEM boyutlandırmanın birimi; ortalama olay boyutu ve 86 400 ile çarpılınca günlük hacmi verir.
Korelasyon kuralıCorrelation ruleBir ya da birçok olay üzerinde koşul arayıp alarm üreten mantık.
Eşik kuralıThreshold ruleBir pencerede aynı türden olay sayısı sınırı aşınca tetiklenen kural.
Toplama kuralıAggregation ruleOlayları bir alana göre gruplayıp farklı değer sayısı, toplam ya da oran hesaplayan kural.
Dizi kuralıSequence ruleOlayların belli bir sırayla ve süre içinde gelmesini arayan, durum tutan kural.
Kullanıcı ve varlık davranış analiziUEBA (user and entity behavior analytics)Kullanıcı ve cihazların temel çizgisinden sapmayı puanlayan yaklaşım.
Olay zamanı, alınma zamanıEvent time, ingestion timeOlayın kaynakta oluştuğu an ve SIEM'e ulaştığı an; aradaki fark gecikmedir.
Geriye bakış penceresiLook-back windowZamanlanmış bir kuralın her çalıştırmada geriye doğru taradığı süre.

Kaynaklar ve sınav konuları

  • CompTIA Security+ SY0-801 4.4: Explain security alerting and monitoring concepts and tools (log aggregation, alerting, archiving, alert tuning, agents/agentless, SIEM)
  • CompTIA Security+ SY0-801 4.8: Given a scenario, use data, artifacts and sources to support a security investigation (log and trace data types, data sources)
  • CompTIA CySA+ CS0-004 1.1: Explain concepts related to system and network architecture in security operations (logging concepts: ingestion, configuration, integrity and security, time synchronization, retention)
  • CompTIA CySA+ CS0-004 1.3: Given a scenario, use tools to determine malicious activity (log analysis with a SIEM, UEBA, GEO-IP)
  • CompTIA CySA+ CS0-004 1.5: Explain the importance of efficiency and process improvement in security operations (data enrichment, rule/alert tuning, dashboard creation)
  • CompTIA CySA+ CS0-004 3.3: Given a scenario, implement incident response techniques (log collection, log correlation, log augmentation and enrichment, alerts and notifications)
  • CompTIA Network+ N10-009, Network Operations alanı: ağ izleme teknolojileri (log aggregation, SIEM, syslog collector)

Bu dersteki bilgiler şu asıl kaynaklarla denetlendi: