Upgrade .cz DNS aneb Zákulisí příprav a realizace – část čtvrtá

Na začátku roku 2017 jsme začali pracovat na projektu celkového posílení infrastruktury autoritativních DNS serverů zabezpečujících provoz .CZ domény. Hlavní motivací bylo zvýšit odolnost DNS infrastruktury proti DoS útokům, jejichž riziko se zvyšuje stále více. Základní stavební jednotkou nové DNS infrastruktury je tzv. „DNS Stack“.

V předchozím díle seriálu o upgrade DNS infrastruktury jsem popsal proces výběrového řízení na 100GE router, switche a servery. Dnešní díl bude věnován přípravě zázemí v datacentru, konkrétně výběru racku a jeho součástí.

Nový rack

Nejdůležitější diskuze nás čekala hned na začátku. Jaký rack potřebujeme, jaké součásti má obsahovat, jak řešit různé proudění vzduchu zařízení, chlazení, napájení apod. Hlavním požadavkem jsme si byli jisti. Potřebujeme do racku umístit 31 serverů, každý o velikosti 1U, dále dva switche (2U), console server (1U), ODF pro vedení optické kabeláže (1U), horizontální vyvazovací panely (2U) a router o velikosti 5U. Vyšlo z toho tedy, že potřebujeme 42U. Připravili jsme návrh zapojení tak, jak bychom si jej představovali a začali řešit veškeré možnosti od návrh až po finální zapojení se zástupci datacentra.

Proběhlo několik setkání, prohlídka konkrétních racků v sálech, úpravy návrhu zapojení podle technologických možností a další a další změny našeho původního návrhu.

Jak nakonec vypadá rack pro Velký DNS Stack?

Jedná se o Conteg RSF-42-80/120. Jeho výška je 42U, šířka 800mm a hloubka 1200mm. Přední i zadní dveře (dělené) jsou perforované z 86 %, obsahují výklopnou pákovou kliku, uzavírání je vícebodové. Rovnoměrné zatížení více než 1000 Kg. Rack je osazen vertikálními lištami (stojnami) 12x1U, na nichž je uchyceno tzv. STS (side-to-side) řešení. Na tyto lišty se také umísťují vertikální HDWM (vyvazovací panely).

Řešení STS umožňuje dokonale oddělit zónu horkého a studeného vzduchu a je tak možné bezpečně osadit síťové prvky s bočním prouděním vzduchu přímo do blízkosti jednotlivých serverů, které mají proudění vzduchu předozadní. V praxi to vypadá tak, jak ukazuje níže uvedený obrázek:

Zdroj: https://www.conteg.cz

Pravá část (vyznačena žlutě) je zaslepena v celé své výšce od vertikální lišty (stojny) k boku racku. Jedná se o podobné zaslepovací panely, které se umisťují do volných U prostorů, kde nejsou umístěné servery, aby nedocházelo k nechtěnému mísení teplého a studeného vzduchu. Do požadované výšky se pak umisťuje adaptér (vyznačen modře) pro konkrétní síťová zařízení, v našem případě pro router Juniper MX240. Tento adaptér zajistí, že se vzduch dostane pouze k routeru. Prostorem mezi STS a bokem racku je možné umístit např. kabelové tunely pro vedení kabeláže zepředu dozadu.

Výhodou STS řešení je možnost mít všechny technologie umístěné v jednom racku. To je v našem případě zásadní, protože vybraný router má proudění vzduchu právě side-to-side, zatímco ostatní zařízení front-to-back. V opačném případě by musely být servery, router a síťové prvky rozděleny do dvou racků. Nevýhodou je, že STS nastaví pevnou rozteč mezi vertikálními lištami (stojny) na 80 cm. Tato skutečnost nás limitovala ve výběru vertikálního HDWM (vyvazovacího panelu), protože jsme původně požadovali variantu s 19 cm žebry. Použili jsme tedy variantu s 12 cm žebry, konkrétně HDWM-VMR-42-12/10F. Jedno HDWM je umístěno vlevo při pohledu zepředu a druhé vlevo při pohledu zezadu.

Pro napájení všech zařízení jsme použili 2x PDU APC 7857. Každé obsahuje 36 zásuvek IEC320 C13 a 6 zásuvek IEC320C19. PDU jsou umístěné vpravo při pohledu zezadu za sebou a jsou samozřejmě připojeny do třech fází.

ODF a optické moduly

Pro vedení optických vláken k jednotlivým serverům a novému racku jsme na základě doporučení vsadili na řešení rozvaděče ODF od společnosti Huber+Suhner. Jedná se o 19“ 1U nebo 4U šasí, do kterého se vkládají moduly v různých provedeních dle zvoleného typu konektorů, celkového počtu, použití pro single-mode či multi-mode apod.

Zdroj: https://www.hubersuhner.com

Pro naše potřeby jsme vybrali variantu IANOS EDR 1U, která umožňuje osadit až 12 modulů (tj. až 72 konektorů LC/MTP), včetně zadního kabelového managementu. Šasí jsme osadili těmito moduly:

7x patching module, single size, Base-2, 6x LCD violet, OM4 PC

Zdroj: https://www.hubersuhner.com

Jedná se o základní propojovací modul, v tomto případě s růžovými konektory. Tato barva na první pohled udává, že jde o multi mode variantu. Do tohoto typu modulů je potřeba zapojit vhodná optická vlákna. My jsme použili kabely multipatchcord 1x MTP(F) – 8xLC/PC OM4. Do těchto modulů jsme klasickými LC/PC-LC/PC MM 50/125 OM4 optickými patchcordy připojovali jednotlivé servery. Tyto kabely jsme si nechali vyrobit na míru v různých délkách od 0,8 do 2 metrů tak, abychom zajistili optimální uložení ve vertikálních vyvazovacích panelech.
1x patching module, single size, Base-2, 6x LCD blue, SM PC

Zdroj: https://www.hubersuhner.com

Modrý patching modul je oproti předchozího modulu určen pro single mode a použili jsme ho k připojení tranzitní konektivity.
1x transition module, double size, Base-12, front 12xLC/PC, rear 2xMTP, OS2

Zdroj: https://www.hubersuhner.com

Tento modul je uvnitř plně osazen a realizuje přechod mezi MTP na vstupu a LC na výstupech. Použili jsme jej pro propojení mezi nových rackem a stávající infrastrukturou za použití 2x MTP-MTP / 12F SM kabelů. Těmito vlákny jsme přivedli všechny důležité propoje k novému routeru.