V minulém blogpostu jsem popisoval testování páteřních switchů a poslední přípravy před oživením privátního sálu. Dnešní díl bude o tom, jak jsme začali konečně opravdu fyzicky stěhovat servery a jak se nám to dařilo.
Průběh stěhování
Stěhování serverů jsme, ještě před zprovozněním veškeré síťové infrastruktury, rozdělili na dvě etapy. V první etapě, do konce listopadu 2019, jsme si dali za cíl přestěhovat produkční prostředí FRED a mojeID, všechny servery Laboratoří CZ.NIC, servery kolegů z CSIRT a Turris týmů, servery ve veřejné VLAN, náš historicky první 100GE DNS stack a s ním hlavní router. V té druhé, kterou plánujeme dokončit nejpozději do konce ledna 2020, jsme si pak naplánovali přesunout testovací prostředí FRED a mojeID, testovací prostředí pro system a network administrátory s testovacím routerem a zbytek interních systémů. Jedním z hlavních důvodů upřednostnění stěhování nejdříve „produkce“ a pak až „testů“ bylo, že „produkce“ je zapojena ve switchích vhodných i pro budoucí produkční prostředí (zaplacená podpora, dostatečný výkon, počty a kapacity portů). Tyto switche potřebujeme nejdříve uvolnit a poté zapojit v privátním sále. Nacházejí se ve dvou rackách, kterými bylo potřeba začít právě co nejdříve.
Při stěhování se ukázalo, že jednotlivé servery dokážeme poměrně rychle „přenést“. Průměrně jsme jeden server stihli zprovoznit do desetiminut, výpadek byl tedy poměrně krátký, což bylo zásadní kritérium pro ty servery, které neměly repliku či jejich další instance neběžely v jiném našem datacentru. Typicky se jednalo o servery ve veřejné VLAN, např. servery kolegů z Brazílie, Chille nebo takové servery, které jsou určené spíše pro veřejnost – IPv6 tunnel, časový server, síťové sondy apod. Pro dodržení takového krátkého výpadku bylo samozřejmě nutné si předem připravit konfiguraci switchů, optickou a metalickou kabeláž do vyvazovacích panelů a napájecí kabely (bílý a černý pro rozlišení napájecích větví). Celkový čas pro migraci jednoho serveru se započítáním těchto příprav byl tedy logicky delší. Kolegové měli tedy předem pro každý server připravený takový „jízdní řád“, kde měli uvedeno, do kterého U v racku má být umístěn s ohledem na rovnoměrné rozložení zátěže napájecí soustavy a do jakých portů na switchích zapojen.
V podstatě nejsložitější z celého dosavadního stěhování bylo domluvit výpadky a přestěhování těch serverů, které nebyly ve správě našich administrátorů. Naštěstí se vše povedlo domluvit hladce, v rozumných termínech a tímto všem zúčastněným děkuji.
Aktuálně máme kompletně přestěhován rack s produkcí FRED a mojeID, rack Laboratoří CZ.NIC a z 98 % rack s veřejnou VLAN. Dále ještě také všechny servery CSIRT týmu, které jsme mimo jiné v rámci plánovaného budoucího růstu rozložení napájení a efektivnější zaplnění umístili do vlastního racku.
Ukázka zaplnění prvních tří racků – veřejná VLAN, Laboratoře CZ.NIC a CSIRT
Ukázka zapojení switchů v racku Laboratoří CZ.NIC
Ukázka zapojení serverů v racku Laboratoří CZ.NIC
Procentuálním vyjádřením máme přestěhováno přibližně 60 % serverů.
Co ještě stihneme do konce roku?
Během listopadu bychom tedy rádi přestěhovali náš historicky první 100GE DNS stack, hlavní router a propoje do peeringového uzlu NIX.CZ a do tranzitu. V prosinci pak testovací prostředí FRED a mojeID a zbylé propoje, tj. okruhy mezi našimi ostatními datacentry. Ale o tom zase příště.