Zprovoznili jsme druhý 100GE DNS stack v ČR

Po necelém roce od spuštění historicky prvního 100GE DNS stacku v České republice (tisková zpráva) jsme spustili do provozu v pořadí již druhý 100GE DNS stack. Několikanásobně jsme tím zvýšili odolnost infrastruktury autoritativních DNS serverů proti případným DoS útokům. Zprovozněním druhého stacku současně také snižujeme závislost na konkrétním datacentru, výrobci hardware a DNS démonovi.

Průběhu prací na prvním 100GE DNS stacku, od návrhu, přes výběrové řízení až po umístění v datacentru a zprovoznění, se věnoval několikadílný seriál. Díky získanému know-how jsme tak realizovali druhý stack v kratším čase.

V čem se tedy druhý stack liší? Především ve výběru výrobců veškerého hardware, softwarového vybavení, ale také racku a fyzického umístění.

Lokalita a rack

Druhý 100GE DNS stack je umístěn v další pražské lokalitě, konkrétně v datacentru CeColo na Bohdalci.

Rack v zásadě odpovídá parametrům předcházejícího, včetně typů dveří perforace, uzavírání. Je však o 5U vyšší. Konkrétně se jedná o Conteg RSF-48-80/120. Požadavek na rack vyšší než 42U byl dán převážně vyšším routerem. Současně nám to napomůže i k pohodlnějšímu vedení kabeláže. Stejné jsou také vertikální vyvazovací panely a dvojice měřitelných PDU, v tomto případě APC 8886. Protože jsme věděli, že tento nový rack bude mít příkon více jak 5 kW, zdokonalili jsme spolu s instalací racku systém chlazení v datovém centru pomocí principu teplé a studené uličky.

Hardware a software

V rámci požadovaného dodržení diverzity pro klíčové parametry DNS infrastruktury byly ve výběrovém řízení router a switche tentokrát vybrány od společnosti CISCO. Jednalo se konkrétně o

    • 2 x 1U 100GE switch Cisco Nexus 3232C

    • 2 x 1U 1GE switch Cisco Nexus 3048

    • 1 x 6U router Cisco ASR-9904

Router Cisco ASR-9904 je na rozdíl od použitého routeru Juniper MX240 v první lokalitě o 1U vyšší, narostl tedy na celkových 6U. Je osazen 2x Route Switch Processorem 880 a 2x 400G modular line kartami, do kterých jsou vloženy 2+2 MPA moduly 1x 100GE s adaptéry CFP2 to CPAK.

Cisco ASR-9904

Pohled na router Cisco ASR-9904

Pro vedení optických vláken jsme opět využili řešení rozvadeče IANOS EDR od společnosti Huber+Shuner v provedení 1U a za použití několika patching modulů single size, Base-2, 6x LCD violet, OM4. ODF jsme tentokrát využili pouze k propojení se zbylou infrastrukturou a síťovými prvky, nikoliv k propojení všech DNS serverů jako v předchozím případě.

Uplink ke všem DNS serverům byl realizován jiným způsobem. A to přímo do switchů Nexus 3232C, pomocí tzv. rozpletů 40Gb MPO na 4x 10Gb LC. Tyto switche byly následně připojeny pomocí 4x MPO/MPO MM OM4 optických kabelů do 100GE adaptérů v routeru.

Switche Nexus 3048 poslouží výhradně pro připojení managementu všech serverů a také pro správu celého stacku.

Cisco Nexus 3232C, Nexus 3048 a IANOS EDR ODF

Pohled na switche Cisco Nexus 3232C, Nexus 3048 a IANOS EDR ODF

Konfigurace a celkový počet serverů zůstává stejný, tzn. 30 DNS serverů a jeden server pro management celého stacku. Servery však byly dodány od jiného výrobce, od společnosti HPE v provedení 1U DL360 Gen9. Po softwarové stránce je rozdíl v použitém DNS démonovi. V případě prvního DNS stacku je použit námi vyvíjený Knot DNS server, v druhém DNS stacku je pak implementace od ISC BIND. Díky pravidelnému testování výkonnosti různých DNS démonů víme, že se BIND dlouhodobě neumisťuje na předních místech. Proto plánujeme, že jej v blízké době nahradíme jinou implementací, např. NSD démonem, který slibuje rychlejší odezvy a tím i lepší využití dostupného výkonu.

Hardwarové konfigurace serverů, routeru a jednotlivých switchů jsme stejně jako v případě prvního Velkého stacku optimalizovali primárně pro 100GE uplink do peeringového uzlu NIX.CZ a také do tranzitu. V současné době máme v lokalitě CeColo uplink do tranzitu zatím o rychlosti 10GE. Jednáme však o navýšení na 100GE, kterého bychom se měli dočkat v horizontu jednoho až dvou měsíců.

HPE DL360 Gen9

Pohled na servery z přední strany

HPE DL360 Gen9

Pohled na servery ze zadní strany

Závěrem ještě jedna designová perlička.. Na připojení metalických patchcordů jsme použili barvu trikolóry, jako vzpomínku na sté výročí založení naší republiky a dvacáté výročí založení sdružení CZ.NIC. Červená je využita pro vzdálený management iLO, modrá s bílou pro management serverů a správu stacku :-).

Autor:

Komentáře (5)

  1. Filip Jirsák říká:

    Nebylo by lepší mít DNS servery (software) diverzifikované v rámci jedné lokality? Tj. KnotDNS a NSD namixovat v rámci každé lokality, ne napříč lokalitami. U hardwaru (serverů) by to samo o sobě také bylo lepší, ale chápu, že z hlediska správy a údržby je lepší mít na jednom místě jeden typ hardwaru.

  2. Václav Steiner říká:

    Dobrý večer,
    už při prvních úvahách koncepcu DNS stacků jsme přemýšleli, zda-li v rámci jednoho stacku použít různé DNS démony. Samozřejmě to je technicky proveditelné, servery spravujeme jedním z oblíbených orchestračních nástrojů. Nakonec jsme se ale rozhodli, že u DNS stacků pojmeme diverzitu na úrovni lokality, podobně jako u jiných našich projektů. Ale jak správně píšete, z pohledu správy a údržby je jednodušší mít jeden typ serverů, používat jednoho DNS démona apod. Je to pak vlastně i lépe zapamatovatelné, kde je jaký systém a jaký výrobce máme použitý :-)

    Nasazení dvou (a nebo i více) různých DNS démonů v jedné lokalitě samozřejmě vede k minimalizaci celkového dopadu softwarové chyby v jedné aplikaci. Na druhou stranu stále výrazně posilujeme nejen DNS lokality v ČR, ale také v zahraničí. Můžeme si tak dovolit i dočasný výpadek způsobený chybou software nebo hardware v některé z lokalit, kterého si v zásadě nikdo ani nevšimne.

    VS

  3. Adam Bartůněk říká:

    Krásná práce. Radost pohledět. Ještě by bylo pěkné napsat, kolik provoz takové krásné infrastruktury stojí +- měsíčně, aby čeští uživatelé věděli, že služby v internetu „nejsou zdarma“, ikdyž oni je zdarma mají.

    Jsem hrdý na vás odobrníky v CZ.NIC-u, kteří nám český uživatelům přináší first class služby.
    Děkuji.

  4. Tomáš Hála říká:

    Hezký den,
    vypadá to moc pěkně a robustně. Jen na fotce má většina serverů zapojen pouze jeden napájecí zdroj. To je záměr nebo jen fotka z nějakého mezistavu?

  5. Václav Steiner říká:

    Děkuji za všímavý dotaz.

    Serverové zdroje nebyly v době pořízení fotografie u některých serverů skutečně zapojeny. Stav po oficiálním spuštění je samozřejmě takový, že zdroje jsou zapojeny redundantně, do dvou PDU.

    VS

Napsat komentář: Adam Bartůněk Zrušit odpověď na komentář

Všechny údaje jsou povinné. E-mail nebude zobrazen.

Tato stránka používá Akismet k omezení spamu. Podívejte se, jak vaše data z komentářů zpracováváme..