V rámci projektu ADAM (Advanced DNS Analytics and Measurements) uvádí Laboratoře CZ.NIC ve spolupráci s CSIRT.CZ do produkčního provozu nástroj DNS crawler. Naším záměrem je periodicky procházet všechny domény 2. úrovně pod TLD .cz, získávat o nich různá veřejně dostupná data a ta pak dále zpracovávat. I když to jeho jméno přímo nenapovídá, DNS crawler bude kromě sběru dat z DNS také komunikovat s webovým a e-mailovým serverem každé domény. Počítáme s pravidelnými běhy ve dvou periodách: většina datových položek se bude sbírat každý týden, pouze obsah hlavních webových stránek <doména>.cz nebo www.<doména>.cz se bude stahovat jen jednou měsíčně. Zvláštnímu dohledu budou navíc podrobeny nově zaregistrované domény, u nichž je větší pravděpodobnost výskytu nějakého problému – jejich data se budou po dobu prvních dvou týdnů jejich existence stahovat denně. Software i režim jeho použití jsou navrženy tak, aby dopady na provoz domén druhé úrovně a síťovou infrastrukturu obecně byly prakticky zanedbatelné. Získaná data budou využita ke třem hlavním účelům:
- pro různé statistiky a analýzy, které budou pravidelně i jednorázově zveřejňovány a poslouží mimo jiné k efektivnější správě a plánování dalšího rozvoje služby DNS, kterou sdružení provozuje
- pro včasné odhalování problémů a anomálií v DNS, které mohou být způsobeny jak poruchami zařízení nebo chybami v konfiguraci a zónových datech, tak i zlovolnými aktivitami
- pro klasifikaci webových stránek metodami strojového učení, především s cílem zvýšení bezpečnosti zóny .cz (např. odhalováním falešných e-shopů nebo domén využívaných malwarem).
Jsme si dobře vědomi toho, že podobné skenování síťových zdrojů ve velkém je dvojsečná záležitost – profylaktické skenování (náš případ) se na první pohled téměř neliší od vyhledávání vhodných obětí pro síťové útoky. Proto se snažíme o maximální otevřenost:
- Software DNS crawleru, který ke skenování zóny .cz používáme, je open source – každý si ho proto může vyzkoušet, případně prohlédnout jeho zdrojový kód (v jazyku Python).
- Zveřejňujeme kompletní soupis všech dat, která sbíráme, i interní pravidla pro jejich použití.
- Zveřejňujeme i identitu (IP adresy) serverů, které skenování provádějí.
Podrobné informace týkající se provozu DNS crawleru včetně kontaktních adres jsou k dispozici na webové stránce https://csirt.cz/cs/dns-crawler. Chtěli bychom touto cestou požádat o spolupráci operátory sítí, ISP a poskytovatele služeb, kterých se bude tak či onak tato naše aktivita dotýkat. Zjistíte-li jakékoli problémy spojené s provozem DNS crawleru, dejte nám o nich prosím vědět, například e-mailem na adresu dns-crawler@nic.cz. Děkujeme!