Migrace Hadoopu z Cloudera Express na Apache Bigtop

V CZ.NIC používáme Hadoop převážně k ukládání provozu z našich autoritativních DNS serverů pro doménu .CZ a provozu z našich veřejných resolverů ODVR. Ke sběru dat používáme náš vlastní nástroj DNS Probe, který nasbíraná data odesílá na Hadoop servery. K tomuto účelu provozujeme vlastních 7 až 8 serverů s instalací Hadoopu a několika podpůrných nástrojů (Hive, Spark, Impala,…). Proces sběru dat DNS provozu je ilustrován na obrázku níže.