V minulém blogpostu jsem slíbil, že do konce listopadu dokončíme první etapu stěhování serverů do privátního sálu. K naplnění zbývalo přestěhovat náš historicky první 100GE DNS stack, router a hlavní propoje do internetu.
První 100GE DNS stack jsme zprovoznili na konci roku 2017. Koncept a popis zapojení DNS stacků je uveden v mém dřívějším blogpostu. DNS stack tedy obsahoval 30 DNS serverů, MGMT server, dva switche pro připojení k MGMT serveru a pro IPMI konektivitu a HW router s ODF, přes které byly připojeny všechny 10GBit uplinky DNS serverů. Původní podobu DNS stacku zachycují níže uvedené obrázky. Byl to (teď opravdu v psáno v minulém čase) náš nejkrásnější rack za poslední dva roky a jen myšlenka na jeho rozbití (při stěhování) nás doslova fyzicky bolela.
Ukázka zapojení serverů DNS stacku v původním umístění
Ukázka zapojení routeru a switchů DNS stacku v původním umístění
Nové umístění a změna konfigurace
Stěhování, nejen datového centra, poskytuje možnost novou lokalitu vylepšovat. Stejně tomu tak bylo u stěhování našeho datacentra do privátního sálu. Provedli jsme při něm celou řadu změn a vylepšení, nejčastěji na síťové infrastruktuře. A zásadnějších úprav se při stěhování dočkal také DNS stack. Využili jsme dvouletých zkušeností s provozem této naší chlouby DNS anycastu a odstranili některá jeho „slabší místa“.
Přidali jsme jeden dedikovaný switch výhradně pro IPMI konektivitu. Je to vlastně takový náš standard zapojení každého racku, kdy využijeme starší „obyčejné“ switche s 1Gbit porty, které jsme nahradili za novější, čímž šetříme tak „drahé“ porty na access switchích.
Díky tomuto IPMI switchi jsme uvolnili 15+15 portů v obou MGMT switchích. Mohli jsme tak každý server připojit dvěma metalickými patchordy jako ether-channel. Jen pro upřesnění, nejedná se o uplinky k routeru, které odbavují DNS provoz. Tato síťová konektivita se používá pro správu jednotlivých DNS serverů, k aktualizaci DNS zóny, monitoringu apod. Doplnění druhého metalického patchcordu nám umožní snáze provádět upgrady firmwaru obou MGMT switchů bez toho, abychom museli část DNS stacku předtím odstavit.
Do stacku jsme přidali další server, který jsme pojmenovali NET. Na tento server přesuneme provádění síťových analýz a v budoucnu i další služby spojené se síťovou infrastrukturou. S tím souvisí i další vylepšení původního návrhu. V případě, že bylo potřeba provést údržbu MGMT serveru (plní mimojiné roli DNS hidden-master) nebo řešit výměnu HW se supportem, museli jsme odstavit celý DNS stack, neboť by jednotlivé DNS servery neměly aktuální DNS zónu. Nově bude NET server sloužit také jako záložní DNS hidden-master a údržba MGMT serveru tak nebude znamenat odstávku celého DNS stacku.
HW router jsme fyzicky oddělili od serverů v DNS stacku a umístili do vedlejšího racku. Lépe jsme tím rozložili napájení mezi racky a zajistili efektivnější chlazení. Router má totiž oproti serverům boční sání vzduchu a při umístění ve stejném racku je nutné použit tzv. STS řešení. V rámci odstávky jsme provedli také upgrade routeru na poslední doporučovanou verzi SW. Dále jsme změnili zapojení 10G uplinků k serverům. V původním návrhu byly totiž jednotlivé servery zapojené tzv. break-out kabely MTP-4xLC(D) přímo do routeru. To bylo možné, protože jsme na linekartách měli dostatek portů. Využili jsme totiž osm 100GE portů, kterými jsme rozpletem z 40GE připojili všechny servery (vždy 4x 10Gbit/transceiver). Nově jsme DNS servery zapojili sice stejným způsobem, ale přímo do dvou nových 100GE switchů, které jsou s routerem propojeny 4x 100Gbit. Ve výsledku jsme propustnost nezhoršili, naopak zlepšili. Momentálně je totiž použito méně portů a současně stále nenarážíme na limit propustnosti, který je výrobcem stanoven na 480Gbps/slot.
Aktuální zapojení DNS stacku ukazuje následující schema:
Aktuální schema zapojení 100GE DNS stacku
Jak probíhalo stěhování DNS stacku a routeru? Nejvíce vypovídající jsou následující fotografie:
Stěhování DNS stacku – rozpojené ODF a switche
Stěhování DNS stacku – rack bez zařízení
Stěhování DNS stacku – router v privátním sále
Stěhování DNS stacku – servery v privátním sále
Stěhování DNS stacku – kabeláž
A jak vypadá DNS stack v privátním sále?
Stěhování DNS stacku – servery v privátním sále, pohled zepředu
Stěhování DNS stacku – servery v privátním sále, pohled zezadu
Stěhování DNS stacku – ODF a switche v privátním sále
Stěhování DNS stacku – router v privátním sále
Všímavější čtenáři si jistě všimli, že některé servery nejsou zapojeny bílými metalickými patchordy. Je to proto, že jsme se snažili využít kabely z původního umístění, ale protože máme vyšší rack a jinak uspořádané switche, ne všude bylo využití původních kabelů možné. Sedm bílých patchordů o délce 2,5 metru musíme tedy doobjednat. Ale na funkci rostlináře (pardon serverů) to nemá vliv, protože jsou všechny servery připojeny do ether-channelu. A ano, ještě musíme hezky dovyvázat všechny kabely…
Hlavní router, propoje do peeringového uzlu NIX.CZ a do tranzitu a náš historicky první DNS stack jsou tedy opět v provozu.
Tím jsme úspěšně stihli přestěhovat servery v první etapě ve stanoveném termínu a plynule přecházíme do té druhé. Tam nás bude čekat testovací prostředí FRED a mojeID, testovací prostředí pro system a network administrátory a několik interních serverů. A také věci trochu nepopulární, jako je odkabelování a úklid. Ale to bude vhodná činnost na období po Silvestru a novoročním rozjezdu.
Na závěr ještě ukázka grafů, jak postupně klesala zátěž napájení po odebírání serverů.
Grafy napájení v původním umístění