Monitoring - Splunk

Temu preuzeo Dragan Baotić.

Sadržaj 1 Uvod 2 O alatu 2.1 Mogućnosti 3 Karakteristike 3.1 Indeksiranje bilo kojih podataka iz bilo kojih izvora 3.2 Prosljeđivanje poataka iz udaljenih sustava 3.3 Povezuje složene događaje 3.4 Izgrađen za velike količine podataka 3.5 Skalira između podatkovnih centara 3.6 Pruža granuliranu, na ulogama temeljenu sigurnost 4 Korištenje Splunka 4.1 Pretraživanje i istraživanje 4.2 Interakcija s rezultatima pretrage 4.3 Dodavanje znanja 4.4 Povezivanje složenih događaja 4.5 Nadgledanje i upozoravanje 4.6 Izvještavanje i analiza 4.7 Stvaranje ploči i pogleda 4.8 Kreiranje Splunk aplikacija 5 Novosti u verziji 4.2 6 Strojni podaci 7 Reference

Uvod

Ova wiki stranica je posvećena alatu Splunk. Na njoj su opisane glavne mogućnosti koje nudi ovaj alat.

O alatu

Splunk je napredni alat za pretraživanje svih podataka koji su stvoreni putem aplikacija, servera i mrežnih uređaja u IT infrastrukturi. Splunk prikuplja, indeksira i koristi ogromne količine strojnih podataka stvorenih cjelokupnom IT infrastrukturom, bilo da je riječ o fizičkoj, virtulnoj ili cloud infrastrukturi. Splunk je moćan alat koji korisnicima, administratorima i developerima olakšava praćenje i korištenje informacija iz podatkovnog centra. Sve što vam je potrebno za Splunk je web pretraživač. Vrlo je popularan i lak za korištenje. Ono što korisnici vole kod Splunka je brzina pretraživanja. Podaci su uvijek ažurni i vrlo je lako napraviti tablice ili grafikone koji su vam potrebni. Korisnici mogu lako analizirati podatke što štedi dosta vremena. Postoji besplatna verzija za sve koji žele isprobati ovaj alat.

Možete je skinuti na sljedećoj poveznici: http://www.splunk.com/download?r=SP-CAAAAGV

Mogućnosti

• Praćenje konfiguracijskih i skriptnih promjena u datotečnim sustavima, prikupljanje arhivskih datoteka, pronalazak i praćenje aplikacijskih zapisa, priključivanje na mrežne portove kako bi se primio syslog, SNMP i druge mrežne instrumentacije.
• Brza pretraga svega, ne samo malog broja predefiniranih polja. Pronalazak greški na svim razinama infrastrukture i konfiguracijskih promjena prije nego je došlo do kvara na sustavu.
• Pretrage se mogu izvršavati prema rasporedu ili akcija temeljenih na rezultatima pretrage. Obavijesti se mogu slati putem elektroničke pošte, RSS-a, SNMP-a, a akcije mogu aktivirati skripte kako bi se izvele neke aktivnosti koje je korisnik sam definirao.
• Rezultati pretrage se mogu lako sumirati kao izveštaji s interaktivnim grafovima, slikama i tablicama. Mogu se odrediti nova polja bez potrebe za ponovnim indeksiranjem podataka.
• Pretrage se mogu spremiti kako bi se omogućilo sustavu da identificira različite vrste polja i događaja i kako bi se sustav poboljšao za sve korisnike.
• Mogućnost skaliranja instalacije od jedne aplikacije do čitavog podatkovnog centra.
• Uključuje sigurno rukovanje podacima, preciznu kontrolu pristupa, osiguranje integriteta podataka i integraciju s postojećim sustavima autentifikacije.
• Prikuplja i upravlja zapisima, konfiguracijama, porukama, zamkama i upozorenjima te statistikama svih IT komponenti i čini ih dostupnim bilo kojem sustavu, usluzi ili aplikaciji. [2]

Karakteristike

U nastavku su nabrojane i ukratko opisane sve karakteristike Splunka.

Indeksiranje bilo kojih podataka iz bilo kojih izvora

Splunk indeskira sve vrste strojnih podataka iz bilo kojeg izvora u realnom vremenu. Bez obzira na tko kako se pripljaju podaci ili na formate tih podataka, Splunk ih indeksira na isti način - bez nekih posebnih parsera ili priključaka za pisanje ili održavanje. Podaci se spremaju u sirovom obliku i u bogatom indeskiranom obliku na efikasan i kompresiran način s opcijom za potpisivanje i auditiranje kako bi se dokazao integritet podataka. [1]

Prosljeđivanje poataka iz udaljenih sustava

Splunk može postaviti otpremnike podataka u sitacijama kada su podaci nedostupni putem mreže ili kada nisu vidljivi na serveru na kome je instaliran Splunk. Ovi otpremnici dostavljaju sigurne, distribuiranje, univerzalne podatke u realnom vremenu prikupljenje iz desetaka tisuća krajnjih točaka. Mogu pratiti lokalne podatkoven zapise aplikacija, hvatati izlaze statusnih naredbi prema rasporedu, nadledati promjene u konfiguarciji, dozvolama i promjenama atributa u datotečnim sustavima. otpremnici su laki za postaviti i ne stvaraju dodatni trošak. [1]

Povezuje složene događaje

Splunk može povezati složene događaje koji se pružaju izvorima podataka kroz cijelo okruženje. Postoji podrška za pet vrsta korelacija:

• korelacije temeljene na vremenu - identificiranje veza u odnosu na vrijeme, blizinu i udaljenost;
• korelacije temeljene na transakcijama - kako bi se pratila serija povezanih događaja kao jedinstvena transakcija kako bi se mjerilo trajanje, status ili neke druge analize;
• podpretraživanja - koriste rezultate jedne pretrage u drugoj pretrazi;
• dohvati - povezuju se vanjskim izvorima podataka;
• spojevi - pružaju podršku za SQL-u slične unutarnje i vanjske spojeve.

Povezivanje događaja u Splunku omogućuje bolju analizu i uvid u strojne podatke, što poboljšava poslovanje. [1]

Izgrađen za velike količine podataka

Pomoću Splunka možete prikupljati i indeksirati desetke terabajta podataka na dana. Skalabilnost je temeljena na MapReduce-u tako da s porastom volumena i izvora podataka jednostavno se dodaju novi poslužiteljski serveri. Automatsko balansiranje opterećenja optimizira opterećenja i vrijeme odaziva. Splunk može biti konfiguriran za korištenje SAN ili drugih uređaja za spremanje za potrebe dugotrajne pohrane podataka. [1]

Skalira između podatkovnih centara

Splunkova distribuirana arhitektura omogućuje pretraživanje i izveštaje kroz više Splunk implementacija iz pojedinačnok podatkovnog centra ili pak globalno kroz više podatkovnih centara. Uz pristup temeljen na ulogama može se kontrolirati koliko će biti široke korisnikove pretrage. Tako regionalni korisnici mogu vidjeti podatke iz regionalnih centara, a poduzetnički korisnici mogu vidjeti podatke iz svih podatkovnih centara. Pomoću Splunka autorizirani korisnici mogu vidjeti iskoristit podatke i znanje iz strojnih podataka koje su im potrebne za poslovanje, bilo da je riječ o analiazama, izvješćima, istragama, itd. [1]

Pruža granuliranu, na ulogama temeljenu sigurnost

Splunk koristi robustan sigurnosni sustav. Svaka transakcija u Splunku je autentificirana, bilo da je riječ o aktivnosti preko web pretraživača, komandnog sučelja ili kroz Splunkov API. Mogu se kreirati vlastite uloge za korisnike. Preko preciznih kontrolnih točaka mogu se ograničiti pretrage, izvješća, upozorenja, ploče s instrumentima i pogledi. Bitno za poduzeća jest to da se Splunk integrira s vanjkism LDAP uslužnim serverima i serverima aktivnih direktorija kako bi se osiguralo provođenje sigurnosnih politika poduzeća. [1]

Korištenje Splunka

Pretraživanje i istraživanje

Pretraživanje podataka u realnom vremenu i povijsenih podataka u istom sučelju za pretraživanje. Korisnik pretrražuje pomoću uobičajenih i poznatih naredbi za pretrage. Postoji pomoćnik za pretraživanje koji pomaže korisniku da se upozna sa Splunkovim jezikom za pretragu kako bi se mogao iskoristiti sav potencijal Splunka.

Interakcija s rezultatima pretrage

Korisnik može vršiti interakciju s rezultatima pretrage u realnom vremenu. Može mijenjati vremenski raspon i filtrirati podatke dok ne nađe one koji su mu potrebni. Ukoliko dođe do greški i problema, može se javiti o tim greškama i dobiti odgovor u roku nekoliko minuta, a ne sati ili dana što omogućuje da pdaci budu na vrijeme dostupni svi grupama koje ih trebaju.

Dodavanje znanja

Splunk automatski izvači znanje iz strojnih podataka koje pretražuje. Korisnik i sam može dodavati znanje identificiranjem, imenovanje i tagiranjem polja i podataka. Mogu se dodavati i informacije iz eksternih baza podataka, upravljanja konfiguracijama i korisničkim direktorijima.

Povezivanje složenih događaja

Pretrage koje obavlja Splunk omogućuju lagano povezivanje između naizgled nepovezanih događaja ili aktivnosti. Korelacije mogu biti različitih vrsta i mogu se lako vizualizirati u izvještajima i pločama.

Nadgledanje i upozoravanje

Pretrage se mogu pretvoriti u upozorenja u realnom vremenu. Korisnik može dobijati obavijesti putem elektroničke pošte i drugih načina, a može i sam odrediti kada i zašto će dobijati obavijsti.

Izvještavanje i analiza

Pomiću alata za kreiranje izvješća brzo i lako se mogu napraviti izvješća, grafikoni i tablice. Postoji mnogo načina vizualizacije koji pomažu korisniku da napravi izvješća bogata korisnim informacijama. Rezultati pretraga se mogu koristiti i u drugim pretragama i analizama.

Stvaranje ploči i pogleda

Korisnik može pomoću par klikova napraviti ploče koje će integrirati veći broj izvješća i pogleda. Ploće se mogu napraviti tako da budu namjenjene različitim korisnicima poput menadžmenta, auditora, developera, itd.

Kreiranje Splunk aplikacija

Korisnik može kreirati i isporučiti aplikacije i dodatke za Splunk pomoću Splunkovog okvira za aplikacije. Mogu podijeliti svoje dodatke sa zajednicom i isto tako koristiti aplikacije drugih korisnika iz zajednice.

Novosti u verziji 4.2

• Upozorenja u realnom vremenu - korisnik dobija obavijesti i odgovore na događaje, uzorke, incidente i napade u realnom vremenu, tj. kako se događaju
• Univerzalni usmjerivači - novi posvećeni usmjerivači koji dostavljaju sigurne, distribuirane podatke u ralnom vremenu iz tisuća krajnjih točaka
• Jednostavniji i brži - novo grafičko sučelje, bolja vizualizacija, vodiči za nove korisnike i do 10 puta brža pretraga podataka
• Upravljanje Splunkom - novo centralizirano upravljanje razvoja i centralizirano upravljanje licencom

Strojni podaci

Već je bilo riječi o strojnim podacima pa treba objasniti što taj pojam znači. Pod strojnim podacima se podrazumjevaju svi podaci koje su stvoreni putem aplikacija, servera, mrežnih uređaja, uređaja za sigurnost i drugih sustava koji se koriste u poslovanju. To nisu samo zapisi nego i podaci o konfiguraciji, podaci iz API-ja, upiti, događaj promjena, dijagnostičke naredbe i slično. Lijedi lista nekih od najbitnijih izvora strojnih podataka. Treba napomenuti kako ovo nije potpuna lista jer svako poslovno okruženje ima svoje jedinstvene izvore koje neko drugo poduzeće možda nema. Popis izvora strojnih podataka [3]:

• Application logs
• Web access logs
• Web proxy logs
• Call detail records
• Clickstream data
• Message queues
• Packet data
• Configuration files
• Database audit logs and tables
• Filesystem audit logs
• Managment and logging APIs
• OS metrics, status and diagnostic commands
• Syslog, WMI...

Reference

[1] Službene stranice Splunka, http://www.splunk.com/product , učitano 5.1.2012.

[2] Mogućnosti Splunka, http://www.utexas.edu/its/products/splunk/ , učitano 5.1.2012.

[3] Strojni podaci, http://www.splunk.com/view/machine-data/SP-CAAACDC , učitano 5.1.2012.

--Dragan.baotic 20:10, 6. siječnja 2012. (CET)