Detekcia anomálií v textových údajoch

Pri analýze možností riešení, ktoré ponúka Energy Logserver, nás zaujal prístup, akým dokáže napodobniť prácu analytika v kancelárii SOC. Typická práca analytika zahŕňa rýchle rozpoznávanie rozdielov v analyzovaných udalostiach, čo si vyžaduje skúsenosti a opakovane vykonávané činnosti. Analytik posudzuje udalosti na základe typickosti pre infraštruktúru a hľadá tie, ktoré sa vymykajú očakávaniam. Rýchla štatistická analýza logov mu umožňuje detegovať zriedkavé slová a analyzovať ich v kontexte celej správy. Tento prístup je síce efektívny, ale obmedzený tým, čo je možné vidieť na obrazovke.

Riešenie Energy Logserver túto myšlienku posúva ďalej vďaka modulu Empowered AI. Pomocou umelej inteligencie sa podarilo vytvoriť pravidlo, ktoré napodobňuje myšlienkový proces analytika – ale s väčšou presnosťou a rýchlosťou. Pravidlo „Detekcia anomálií – Text“ analyzuje každý log z pohľadu jednotlivých slov, ktoré ho tvoria. Matematické funkcie v Energy Logserver počítajú pravdepodobnosť výskytu každého slova v analyzovanej sade. Algoritmus následne zostaví slovník, ktorý určuje pravdepodobnosť výskytu jednotlivých slov. Slová, ktoré sa vyskytujú často, nie sú predmetom záujmu, zatiaľ čo zriedkavé slová dostávajú vyššiu prioritu. Algoritmus im prideľuje body – čím zriedkavejšie slovo, tým vyššie skóre získa. Navyše sleduje, ako často sa zriedkavé slová objavujú v celom logu.

Príklad zachyteného záznamu:

Text:
205.210.31.32 – – [20/Feb/2024:14:00:37 +0100] “GET / HTTP/1.1” 301 224 “-” “Expanse, a Palo Alto Networks company, searches across the global IPv4 space multiple times per day to identify customers' presences on the Internet. If you would like to be excluded from our scans, please send IP addresses/domains to: scaninfo@paloaltonetworks.com” 0.125

Zriedkavé slová:
[‘would’, ‘ipv4’, ‘global’, ‘please’, ‘across’, ‘networks’, ‘company’, ‘per’, ‘internet’, ‘times’, ‘0.125’, ‘the’, ‘from’, ‘a’, ‘if’, ‘addresses/domains’, ‘multiple’, ’39’, ‘scans’, ‘expanse’, ‘space’, ‘alto’, ‘excluded’, ‘palo’, ‘send’, ‘scaninfo@paloaltonetworks.com’, ‘searches’, ‘day’, ‘you’, ‘205.210.31.32’, ‘identify’, ‘our’, ‘presences’, ‘ip’, ‘customers’]

Z týchto detekcií vyplývajú nasledujúce výpočty:

• Počet zriedkavých slov: 35
• Body za anomálie jednotlivých slov: 10 155
• Body za anomálie celého logu: 330 001
• Počet výskytov označeného logu ako celku: 1

Tentokrát sa záznam ukázal ako neškodný – spoločnosť Palo vykonáva prieskum trhu.
Vďaka prideľovaniu bodov za anomálie jednotlivým slovám i celým logom je možné porovnávať ich a lepšie identifikovať neobvyklé záznamy.

Graficky je možné znázorniť, ako sú body za anomálie logov distribuované na osi.

Čo nás čaká ďalej v Energy Logserver?

Tento systém má veľký potenciál a ďalšie vylepšenia sú už na obzore. Napríklad: plánovanie pravidiel Empowered AI, upozorňovanie na základe skóre anomálií, hodnotenie anomálií v reálnom čase, ukladanie modelov, tvorba knižnice modelov pre rôzne zdroje a budovanie užívateľskej komunity pre zdieľanie modelov. A to sú len niektoré z funkcií, ktoré sú pripravené na vydanie.

Pre viac informácií nás, prosím, kontaktujte:

Vilém Raichel, vilem.raichel@bakotech.com +420 734 542 498