uCollect je mrtev, ať žije Turris Sentinel!

Pokud nás sledujete průběžně, určitě už víte o nedávném ukončením podpory pro Turris OS 3.X, který je s námi už nějakou dobu, a to od svého vydání v roce 2016. Nakonec se nám podařilo proces migrace odladit a všechny modré routery jsme přemigrovali na Turris OS 5.X. O tom ale tento článek vůbec není. Chceme se zabývat jednou součástí starého OS – uCollectem, který byl nahrazen novým a lepším systémem.

Když se začínal psát příběh našeho routeru, jeho unikátní vlastností byla přítomnost dynamického firewallu. Sbírali jsme a analyzovali různé informace o přenesených datech a následně jsme je zakomponovávali do pravidel firewallu, která se na routerech průběžně aktualizovala. Experimenty a laděním firewallu jsme se snažili najít způsob, jaká data sbírat a jakým způsobem. Na začátku jsme měli pouhé dva tisíce routerů. Takže jsme všechna posbíraná data prostě uložili do databáze a nad databází jsme pouštěli různé scripty. Způsob zpracování dat skripty se v průběhu doby často měnil.

Ale když přišla Omnia, začali jsme dostávat mnohem větší objemy dat. Tou dobou už jsme měli také daleko více zkušenosti a mnohem lépe jsme věděli, jakým směrem se chceme vydat. Databáze se pomalu začala zahlcovat a to byl dobrý impuls začít s něčím novým. Tak se zrodil Sentinel.

Rozhodli jsme se k problému přistoupit jinak. Už není třeba, aby si lidé vytvářeli další účet na našem portálu. Nesbíráme do databáze všechno možné, abychom to pak na serveru opět skripty vyfiltrovali, nýbrž jen konkrétní data, která se nejlépe osvědčila. Na serveru máme zpracování proudu dat nepřerušovaným procesem v reálném čase, který posílá data ihned nazpět. Stále si necháváme archivní kopii dat pro debugování a výzkum, jiná kopie databáze slouží k podkladům pro některé grafy. Každopádně, hlavní zpracování dat se už neděje nad databází a kdykoliv by měla databáze jakýkoliv problém, není pro nás už ničím kritickým.

Jedním z problémů uCollectu byla práce a nakládání s uživatelskými kontakty. V reakci na iniciativy jako GDPR jsme se rozhodovali zamyslet nad tím, zda je opravdu potřebujeme uchovávat. Nakonec jsme se rozhodli použít něco, čemu říkáme device token, což je náhodně generovaný text, který označuje data proudící k nám na server. Nemáme tak tedy žádné informace o lidech, jen anonymní identifikátory anonymních sběračů dat.

uCollect bandwidth statistics

 

Shrnuto a podtrženo, Sentinel je více než jen adekvátní náhradou uCollectu. Proto jsme se rozhodli projekt uCollect na konci dubna ukončit. V květnu už nebude možné se pod uživatelským účtem přihlásit do projektu Turris. Takže si udělejte screenshoty historických dat, která potřebujete někde mít, a vrhněte se vstříc novému Sentinel View.

Autor:

Komentáře (4)

  1. Roman říká:

    Dobrý den,
    pokud jsem pochopil tak bych mohl pomocí tokenu který by byl spárován s mým Turrisem sledovat svou aktivitu. Nevím ale kde na Turrisu zjistím ten token.

  2. Michal Hrusecky říká:

    Dobry den,

    token bude k nalezeni v reForisu v jednom z budoucich releasu Turris OS. Do te doby lze token ziskat pomoci ssh pomoci nasldujiciho prikazu:

    `uci get sentinel.main.device_token`

  3. Franta říká:

    Buď něco dělám špatně, ebo jsem to špatně pochopil, ale v Sentinel View nevidím data o trafficu (download, upload, rychlost), vidím data o incidentech z honeypotu.

    • Michal Hrusecky říká:

      Ano, Sentinel View zobrazuje podrobnosti o utocich. Pokud vas zajima provoz na vasem routeru, mame k tomu bud Pakone, ktery vam uklada a zobrazuje netflow, a nebo si muzete nainstalovat Netdatu, ktera vam ukaze realtime grafy vseho mozneho.

Zanechte komentář

Všechny údaje jsou povinné. E-mail nebude zobrazen.

Tato stránka používá Akismet k omezení spamu. Podívejte se, jak vaše data z komentářů zpracováváme..