Ağ ve SOC Akademisi

Aşama 4: Paket okuma · Ders 4.4

Akış verisi ve Zeek logları: yakalama yokken elde kalan

Bir akış kaydını ve Zeek'in conn, dns, http, ssl, files, x509, notice ve weird loglarını alan alan okuyabilir, uid ile birbirine bağlayabilir ve en büyük aktarımı, en uzun bağlantıyı, taramayı ve düzenli aralıklı bağlantıyı bu loglardan bulabilirsiniz.

  • 70 dk
  • 30 soru
  • 5 antrenman

Bir olayı incelerken en çok istenen şey paketin kendisidir: ne gönderildi, ne geldi. Oysa büyük bir ağda paketlerin tamamı nadiren saklanır. Elde çoğu zaman iki şey kalır: yönlendiricilerin ve switch'lerin ürettiği akış kayıtları ve ağı dinleyen bir sensörün yazdığı Zeek logları. Akışın temelini 2. aşamadaki 'Ağı işletmek' dersinde gördünüz; burada aynı veriye bir SOC analistinin gözüyle bakacağız. Neden tam yakalamanın az bulunduğunu, akış kaydının hangi alanları taşıdığını ve örneklemenin neyi gizlediğini, Zeek'in hangi logları yazdığını ve bunları tek bir kimlikle nasıl birbirine bağlayacağınızı öğreneceksiniz. Sonunda dört soruyu bu loglardan cevaplayacaksınız: en çok veriyi kim dışarı yolladı, en uzun bağlantı hangisi, kim tarama yapıyor, kim her dakika aynı küçük bağlantıyı açıyor.

Tam paket yakalama neden az bulunur?

Tam paket yakalama (full packet capture, FPC), bir hattan geçen her paketin baştan sona diske yazılmasıdır. Bir olayda en güçlü kanıttır, ama üç engel onu büyük ağlarda istisna yapar.

  • Depolama: Ortalama yüzde 40 doluluğla çalışan 1 Gbit/s'lik tek bir hat saniyede 50 MB, günde yaklaşık 4,3 TB veri taşır. Bunu otuz gün saklamak 130 TB demektir; üstelik çoğu kurumda böyle onlarca hat vardır.
  • Gizlilik: Paketin içinde e-postalar, parolalar, kişisel veriler bulunur. Bunları toplu olarak saklamak hukuki bir yük ve kendi başına bir saldırı hedefidir.
  • Şifreleme: Trafiğin büyük kısmı TLS ile şifrelidir. Diske yazdığınız HTTPS paketlerinin içini anahtar olmadan okuyamazsınız; elinizde yine yalnızca kim, kiminle, ne zaman, ne kadar kalır.

Bu yüzden kurumlar tam yakalamayı ya hiç yapmaz ya da internet çıkışı gibi birkaç kritik noktada, birkaç günlük bir halka arabellekte (ring buffer) tutar. Geri kalan her yerde paketin kendisi yerine üstveri (metadata) saklanır: konuşmanın içeriği değil, özeti. Telefon faturasındaki arama dökümüne benzer: kimi aradığınızı, ne zaman ve kaç dakika konuştuğunuzu gösterir, ne konuştuğunuzu göstermez.

Üstverinin iki ana kaynağı vardır. Birincisi ağ cihazlarının dışa aktardığı akış kayıtları (flow records): NetFlow, IPFIX, sFlow. İkincisi trafiği bir aynalama portundan (SPAN) ya da bir ağ dinleme cihazından (network TAP) okuyan bir sensörün yazdığı protokol logları; bunların en yaygın açık kaynak üreticisi Zeek'tir. Bir bağlantının özeti birkaç yüz bayt tutar; aynı bağlantının paketleri megabaytlarca olabilir. Aradaki oran, aylarca geriye bakabilmenizi sağlar.

Akış kaydı: kim, kiminle, ne kadar

Akışın tanımını 2. aşamada gördünüz: aynı anahtar alanları taşıyan paketlerin topluluğu. Klasik anahtar beşlidir (5-tuple): kaynak IP, hedef IP, kaynak port, hedef port ve protokol. Kaydı üreten cihaz dışa aktarıcı (exporter), kayıtları saklayan sunucu toplayıcıdır (collector).

Kayıt, anahtarların yanında paket sayısını, bayt sayısını, başlangıç ve bitiş zamanını ve akış boyunca görülen TCP bayraklarının birleşimini taşır. Bir analist için önemli olan, bu alanların neyi söyleyip neyi söylemediğidir.

Dört biçimi tanımanız yeterlidir:

  • NetFlow v5: Cisco'nun sabit biçimi. Her kayıt 48 bayttır, bir pakete en fazla 30 kayıt sığar, yalnızca IPv4 taşır.
  • NetFlow v9 (RFC 3954): Kaydın hangi alanlardan oluştuğunu önce bir şablon (template) ile bildirir; böylece IPv6, MPLS gibi yeni alanlar eklenebilir.
  • IPFIX (RFC 7011): v9'dan doğan IETF standardı; alanlara bilgi öğesi (information element) der, toplayıcı varsayılan olarak 4739 numaralı portu dinler.
  • sFlow: Akış kaydı değil, paket örneklemesidir. Cihaz her N paketten birinin başlığını (varsayılan olarak ilk 128 baytını) ve arayüz sayaçlarını toplayıcıya yollar, UDP 6343 üzerinden. Akışı toplayıcı, örneklerden kendisi tahmin eder.

Akış kaydının bilmediği şeyi de bilin: yük. Kayıt bir HTTPS bağlantısının 1,5 GB taşıdığını söyler, ama hangi dosya olduğunu söylemez. Bir de NetFlow kaydı tek yönlüdür: istemciden sunucuya giden paketler bir kayıt, sunucudan istemciye dönenler ayrı bir kayıttır. İkisini eşleştirmek toplayıcının ya da analistin işidir.

Örnekleme: sayılmayan paketler

Çok hızlı hatlarda cihaz her paketi sayamaz. O zaman örnekleme (sampling) kullanılır: 1:1000 örneklemede bin paketten yalnızca biri incelenir, toplayıcı da gördüğü sayıyı biniyle çarparak tahmin yürütür.

Büyük akışlar için bu tahmin iyidir. 2 milyon paketlik bir indirmeden yaklaşık 2 000 paket örneklenir ve bayt sayısı makul bir hatayla bulunur. Küçük akışlar için tahmin çöker: tek paketlik bir akışın örneklenme olasılığı binde birdir.

Bunun güvenlik açısından sonucu ağırdır. Bir port taraması her porta tek bir SYN paketi yollar; bin portluk bir taramadan ortalama yalnızca bir paket görünür ve tarama kaybolur. Her dakika birkaç yüz baytlık bir bağlantı açan bir kötü amaçlı yazılım da aynı biçimde gözden kaçar. Örnekleme hacmi korur, seyrek ve küçük olanı gizler; analistin aradığı şeylerin çoğu da seyrek ve küçüktür.

Bu yüzden bir akış verisine bakmadan önce sorun: bu kayıtlar örneklenmiş mi, oranı ne? NetFlow v5 başlığında bunun için bir sampling_interval alanı vardır; IPFIX ve v9'da bilgi şablonla bildirilir. Örneklenmemiş akış ya da her paketi gören bir Zeek sensörü, küçük olayları bulmak için tek güvenilir kaynaktır.

Zeek nedir, ne değildir?

Zeek (2018'e kadar adı Bro idi), trafiği bir SPAN portundan ya da TAP'tan okuyan ve gördüğünü yapılandırılmış loglara yazan açık kaynaklı bir ağ izleme aracıdır. En sık yapılan yanlış onu bir saldırı tespit sistemi (IDS) sanmaktır. Suricata ya da Snort gibi bir IDS paketleri imzalarla karşılaştırır ve eşleşince uyarı üretir; Zeek ise önce her bağlantıyı ve her protokol konuşmasını kayda geçirir. Uyarı (notice) üretebilir, ama asıl ürünü loglardır.

Zeek bir pakete baktığında onu bir bağlantıya bağlar, protokolünü port numarasına değil içeriğine bakarak tanır (dinamik protokol algılama) ve o protokolün çözümleyicisini çalıştırır. 8080 numaralı porttan konuşulan HTTP de http.log'a düşer. Sonuç, her biri bir konuyu anlatan bir dizi dosyadır:

  • conn.log: Her bağlantının, TCP olsun UDP olsun ICMP olsun, tek satırlık özeti. Analistin en çok yaşadığı log budur.
  • dns.log: Her DNS sorgusu ve cevabı.
  • http.log: Her HTTP isteği ve cevabı: yöntem, alan adı, adres yolu, kullanıcı aracısı, durum kodu.
  • ssl.log: Her TLS el sıkışması: sürüm, şifre takımı, SNI ile istenen sunucu adı, el sıkışmanın tamamlanıp tamamlanmadığı.
  • files.log: Trafikte geçen her dosya: türü, boyutu, özetleri (hash).
  • x509.log: Görülen her sertifika: konu, düzenleyen, geçerlilik tarihleri.
  • notice.log: Zeek betiklerinin dikkat çekmek için ürettiği uyarılar.
  • weird.log: Protokol kurallarına uymayan tuhaflıklar.

Bütün bu dosyaları birbirine bağlayan tek bir alan vardır: uid. Zeek her bağlantıya C harfiyle başlayan rastgele bir kimlik verir ve o bağlantıdan doğan her log satırına aynı kimliği yazar. conn.log'da şüpheli bir satır bulduğunuzda uid'i kopyalar, öteki loglarda ararsınız: aynı bağlantının DNS'ini, HTTP isteğini, sertifikasını, taşıdığı dosyayı bulursunuz.

conn.log'u okumak

conn.log'un her satırı bir bağlantıdır ve bağlantı bittiğinde yazılır. Bu yüzden satırlar başlangıç zamanına göre sıralı değildir: sekiz saat süren bir SSH oturumu, sekiz saat önceki zaman damgasıyla en son satırlarda görünür.

Zeek bağlantıyı başlatan tarafa originator (orig), cevap veren tarafa responder (resp) der. Bu ayrım her alanın adında vardır: id.orig_h başlatanın adresi, id.resp_p cevap verenin portu, orig_bytes başlatanın gönderdiği veri. NetFlow'un aksine bir conn.log satırı iki yönlüdür: iki tarafın da gönderdiğini tek satırda taşır.

Bir satırı okurken şu sırayla bakın: kim kiminle (id.orig_h, id.resp_h), hangi hizmete (id.resp_p, proto, service), ne kadar sürdü (duration), ne kadar veri gitti ve geldi (orig_bytes, resp_bytes), bağlantı nasıl bitti (conn_state, history).

conn_state bağlantının sonunu tek bir kodla söyler. En sık gördükleriniz şunlardır:

  • S0: Bağlantı denemesi görüldü, cevap gelmedi. Yalnızca SYN gitmiş. Kapalı bir güvenlik duvarına ya da kapalı bir hosta yapılan taramada yığın halinde görünür.
  • S1: Bağlantı kuruldu, kapanmadı. Zeek kapanışı görmeden kaydı yazmıştır.
  • SF: Normal kuruluş ve normal kapanış. Sağlıklı bir bağlantının durumudur. UDP'de durum olmadığı için Zeek cevap almış bir UDP konuşmasını da SF yazar.
  • REJ: Bağlantı denemesi reddedildi: SYN'e RST döndü. Port kapalıdır ama host ayaktadır.
  • RSTO: Bağlantı kuruldu, başlatan taraf RST ile kesti.
  • RSTR: Cevap veren taraf RST gönderdi.
  • OTH: SYN hiç görülmedi, yalnızca bağlantının ortası görüldü. Sensör başladığında zaten açık olan bağlantılar ya da yönlendirmenin bir yönü sensörden geçmeyen trafik böyle görünür.

history ise bağlantıda olanları harf harf anlatır. Büyük harf başlatanın, küçük harf cevap verenin yaptığıdır: S SYN, h SYN ACK, A yalın ACK, D veri, F FIN, R RST. Sağlıklı bir TCP bağlantısının history'si ShADadFf gibidir: başlatan SYN yolladı, karşı taraf SYN ACK döndü, başlatan ACK ve veri yolladı, karşı taraf ACK ve veri döndü, iki taraf da FIN ile kapattı. Yalnızca S görmek, cevapsız kalmış bir SYN demektir.

conn.log'dan bir satır, zeek-cut ile seçilmiş alanlar (zeek-cut sekmeyle ayırır; burada okunsun diye boşlukla hizalandı)
$ zeek-cut -m uid id.orig_h id.orig_p id.resp_h id.resp_p proto service duration orig_bytes resp_bytes conn_state history < conn.log
uid                 id.orig_h    id.orig_p  id.resp_h      id.resp_p  proto  service  duration   orig_bytes  resp_bytes  conn_state  history
C7f3Lz2Q0vYbRk1Wd9  10.20.30.14  50432      198.51.100.20  443        tcp    ssl      12.301874  1843        52310       SF          ShADadFf

Dikkat: Zeek TLS trafiğine service alanında ssl der; bu, eski SSL protokolünün kullanıldığı anlamına gelmez. Sürümü ssl.log'daki version alanından okursunuz.

Akış ve Zeek neyi iyi cevaplar, neyi cevaplayamaz?

Akış kayıtları ve conn.log, bir konuşmanın şeklini çok iyi anlatır. Şu soruları dakikalar içinde cevaplarsınız:

  • Kim kiminle konuştu? Bir iç hostun hangi dış adreslere bağlandığı, ilk kez görülen bir hedef.
  • Ne kadar? Bir hostun dışarı yolladığı toplam bayt; gönderdiği, aldığından çok daha fazlaysa veri sızdırma şüphesi.
  • Ne kadar sürdü? Saatlerce açık kalan bir bağlantı, mesai dışındaki bir oturum.
  • Ne sıklıkla? Her 60 saniyede bir yinelenen aynı küçük bağlantı.
  • Hangi hizmet? Bir iş istasyonundan dışarıya SSH, 443 numaralı porttan konuşulan TLS olmayan bir protokol (Zeek bunu service alanında gösterir).

Kötü cevapladığı tek ama büyük soru vardır: ne söylendi? Dosyanın içeriği, gönderilen komut, girilen parola akışta yoktur. Zeek'in protokol logları bir adım daha ileri gider: şifresiz HTTP'de adres yolunu ve kullanıcı aracısını, DNS'te sorulan adı, TLS'te istenen sunucu adını ve sertifikayı verir. Ama TLS'in içindeki HTTP isteğini Zeek de göremez.

Bu yüzden bu veriler bir soruşturmada çoğunlukla ilk adımdır: neyin olağandışı olduğunu ve nereye bakılacağını gösterir. Kesin içerik için uç noktaya (EDR, işletim sistemi logları) gidilir. Sık görülen trafik kalıplarının (tarama, sızdırma, düzenli aralıklı bağlantı) ayrıntısı bir sonraki dersin, bu logların bir SIEM'de toplanıp sorgulanması 6. aşamanın konusudur.

Dört soru, dört kalıp

Bir sabah elinizde bir günlük conn.log var. Paket yok. Dört soruyu sırayla soruyorsunuz.

  • En büyük dışa aktarım hangisi? local_orig değeri T, local_resp değeri F olan satırları (içeriden dışarı başlatılanlar) orig_bytes alanına göre büyükten küçüğe sıralayın. En üstte 10.20.30.14'ten 203.0.113.50'nin 443 numaralı portuna 1 610 612 736 bayt, yani 1,5 GiB giden ve yalnızca 4 211 bayt geri alan bir bağlantı çıkıyor. İndirme değil, yükleme. Sıradaki soru: bu adres kimin, uid ile ssl.log'da hangi sunucu adı istenmiş?
  • En uzun bağlantı hangisi? duration alanına göre sıralayın. 10.20.30.21'den 198.51.100.77'nin 22 numaralı portuna 28 800 saniye, yani tam sekiz saat süren bir SSH oturumu var. Bir iş istasyonundan internetteki bir sunucuya sekiz saatlik SSH, bir tünel ya da elle yönetilen bir arka kapı olabilir.
  • Kim tarama yapıyor? conn_state değeri S0 olan satırları başlatan adrese göre sayın. 10.20.30.77 bir dakika içinde 10.20.40.10'un bin farklı portuna cevapsız SYN yollamış: tek kaynak, tek hedef, çok port; dikey bir tarama. Tek kaynağın çok sayıda hostun aynı portuna gitmesi ise yatay bir taramadır.
  • Kim düzenli aralıkla bağlanıyor? Aynı kaynak ve hedef çiftinin bağlantılarını zamana göre dizin. 10.20.30.33, 203.0.113.99'un 80 numaralı portuna her seferinde 211 bayt yollayıp 143 bayt alan bir bağlantıyı tam 60 saniyede bir açıyor. İnsan böyle düzenli çalışmaz; bir program çalışır. Bu kalıba işaret verme (beaconing) denir ve bir sonraki dersin konusudur.

Akılda kalsın

  • Tam paket yakalama büyük ağlarda depolama, gizlilik ve şifreleme yüzünden azdır; yerine üstveri saklanır: akış kayıtları (NetFlow v5, v9, IPFIX, sFlow) ve Zeek logları. İkisi de kim, kiminle, ne kadar, ne kadar süre, ne sıklıkla sorularını cevaplar, ne söylendiğini cevaplamaz.
  • NetFlow kaydı tek yönlüdür ve beşliyi, paket ve bayt sayısını, zamanları ve TCP bayraklarının VEYA'sını taşır; örnekleme hacmi korur ama tek paketlik taramayı ve küçük, seyrek bağlantıları gizler.
  • Zeek bir IDS değil, logları yazan bir ağ izleme aracıdır; conn.log her bağlantının iki yönlü özetidir ve bağlantı bitince yazılır. uid bir bağlantının bütün loglardaki satırlarını, fuid bir dosyayı, cert_chain_fps de ssl.log'u x509.log'a bağlar.
  • conn_state: S0 cevapsız SYN, S1 kuruldu kapanmadı, SF normal, REJ SYN'e RST, RSTO başlatan kesti, RSTR cevap veren RST yolladı, OTH SYN görülmedi. history'de büyük harf başlatanı, küçük harf cevap vereni gösterir: ShADadFf temiz bir TCP konuşmasıdır.
  • Dört kalıp: en büyük orig_bytes ile dışa aktarım, en büyük duration ile uzun oturum, tek kaynaktan yığınla S0 ile tarama, aynı çiftin eşit aralıklı küçük bağlantılarıyla beaconing.

Terimler

TürkçeEnglishAnlamı
Tam paket yakalamaFull packet capture (FPC)Bir hattan geçen her paketin tamamının diske yazılması; en güçlü ama en pahalı kanıt.
ÜstveriMetadataBir konuşmanın içeriği değil özeti: kim, kiminle, ne zaman, ne kadar.
AkışFlowBelirli bir süre içinde aynı anahtar alanları (beşli) taşıyan paketlerin topluluğu.
Beşli5-tupleKaynak IP, hedef IP, kaynak port, hedef port ve protokol; bir akışı ya da bağlantıyı tanımlar.
Dışa aktarıcıExporterAkış kayıtlarını üretip toplayıcıya yollayan yönlendirici, switch ya da güvenlik duvarı.
ToplayıcıCollectorAkış kayıtlarını alıp saklayan ve sorgulatan sunucu.
ŞablonTemplateNetFlow v9 ve IPFIX'te bir kaydın hangi alanlardan oluştuğunu önceden bildiren tanım.
IP akış bilgisi dışa aktarımıIPFIX (IP Flow Information Export)NetFlow v9'dan doğan IETF standardı, RFC 7011; toplayıcı portu 4739.
sFlowsFlowHer N paketten birinin başlığını ve arayüz sayaçlarını yollayan örnekleme teknolojisi; UDP 6343.
ÖrneklemeSamplingYalnızca her N paketten birinin sayılması; hacmi tahmin eder, küçük ve seyrek trafiği gizler.
ZeekZeek (formerly Bro)Trafiği okuyup her bağlantı ve protokol konuşması için yapılandırılmış log yazan açık kaynaklı ağ izleme aracı.
Bağlantı kimliğiuidZeek'in her bağlantıya verdiği, C ile başlayan kimlik; aynı bağlantının bütün log satırlarını birbirine bağlar.
Dosya kimliğifuidZeek'in trafikte gördüğü her dosyaya verdiği, F ile başlayan kimlik; files.log ile http.log'u bağlar.
BaşlatanOriginator (orig)Zeek'te bağlantıyı başlatan taraf; alan adlarında orig olarak geçer.
Cevap verenResponder (resp)Zeek'te bağlantıya cevap veren taraf; alan adlarında resp olarak geçer.
Bağlantı durumuconn_stateconn.log'da bağlantının nasıl bittiğini söyleyen kod: S0, S1, SF, REJ, RSTO, RSTR, OTH ve ötekiler.
Bağlantı öyküsühistoryconn.log'da bağlantıda olanları harf harf yazan dizi; büyük harf başlatan, küçük harf cevap veren.
Sunucu adı göstergesiSNI (Server Name Indication)İstemcinin TLS el sıkışmasında istediği sunucu adı; ssl.log'da server_name alanı.
Parmak iziFingerprintBir sertifikanın özeti; ssl.log'daki cert_chain_fps ile x509.log'daki fingerprint alanını eşler.
İşaret vermeBeaconingBir programın aynı hedefe eşit aralıklarla aynı küçük bağlantıyı açması; komuta kontrol trafiğinin tipik kalıbı, ayrıntısı bir sonraki derste.
Aynalama portuSPAN port (port mirroring)Switch'in başka portların trafiğinin kopyasını gönderdiği port; Zeek gibi sensörler buradan dinler.

Kaynaklar ve sınav konuları

  • CompTIA CySA+ CS0-004 1.2: Given a scenario, analyze indicators of potential malicious activity (network-related indicators: enumeration, anomalous activity, activity on unexpected ports; data exfiltration)
  • CompTIA CySA+ CS0-004 1.3: Given a scenario, use tools to determine malicious activity (packet analysis: Zeek; file formats: JSON; shell script)
  • CompTIA Security+ SY0-801 4.4: Explain security alerting and monitoring concepts and tools (NetFlow, log aggregation, port mirroring)
  • CompTIA Security+ SY0-801 4.8: Given a scenario, use data, artifacts and sources to support a security investigation (NetFlow/IPFIX, packet captures, metadata)
  • CompTIA Network+ N10-009 3.2: Given a scenario, use network monitoring technologies (flow data, packet capture)

Bu dersteki bilgiler şu asıl kaynaklarla denetlendi: