Upgrade .cz DNS aneb Zákulisí příprav a realizace – část třetí

Na začátku roku 2017 jsme začali pracovat na projektu celkového posílení infrastruktury autoritativních DNS serverů zabezpečujících provoz .CZ domény. Hlavní motivací bylo zvýšit odolnost DNS infrastruktury proti DoS útokům, jejichž riziko se zvyšuje stále více. Základní stavební jednotkou nové DNS infrastruktury je tzv. „DNS Stack“.

V prvním a druhém díle seriálu o upgrade DNS infrastruktury jsem představil koncept DNS stacků a první implementaci ISP DNS stacků u poskytovatelů internetového připojení. Dnešní díl se zaměří na jednu z časově nejnáročnějších částí celé realizace – výběrová řízení na 100GE router, switche, servery a jejich následnou logistiku do datacentra.

Výběrová řízení a nákupy hardware

Výběrová řízení jsme rozdělili na dvě skupiny. První na dodávku routerů a management switchů, druhou na dodávku serverů. Poptávali jsme tedy 100GE router pro Velký DNS stack, 2 managementswitche a celkem 31 serverů.

Dodavatelům jsme zaslali seznam požadovaných technických parametrů a pro obě výběrová řízení jsme předem stanovili stejná hodnotící kritéria.

Celkem jsme stanovili 11 hodnotících kritérií, např. cena a cena za support, splnění technických parametrů, rozsah a kvalita supportu, reference, dopad na provozní náklady apod. Ke každému kritériu jsme vyplnili hodnoty 1-5, jako ve škole, kdy 1 je nejlepší. Současně každé kritérium mělo stanovenou váhu v procentech tak, aby celkový součet všech vah byl 100 %.

Nejvyšší váha nebyla stanovena k ceně, ale k technickým parametrům. Pro jejich vyhodnocení jsme měli připravenou ještě další tabulku, která obsahovala jednotlivé parametry a také jejich váhu v rozmezí 1 až 4, která určovala jejich důležitost. Ke každé položce jsme vždy vyplnili buď „1 – splňuje zadání“ nebo „0 – nesplňuje zadání“. Nakonec se na základě váhy vypočítal celkový součet a převedl na známku 1-5, pro doplnění do hlavní hodnotící tabulky. V případě routerů jsme takto hodnotili 21 technických parametrů.

Všechny dodavatele jsme vyzvali do stanoveného data k zaslání nabídek, následně byl prostor k osobním prezentacím navrženého řešení a další konzultace.

Routery

Oslovili jsme 5 dodavatelů, řazeno abecedně:

Alcatel-Lucent Czech s.r.o. (Alcatel-Lucent/Nokia), Alef Nula a.s. (Cisco), Comguard s.r.o. (Brocade), Comsource s.r.o. (Juniper), Huatech a.s. (Huawei).

Hlavními požadovanými technickými parametry routerů byly:

Plná podpora IPv4+IPv6, IRB, OSPFv2/v3, L3 subinterface, ACL aplikované na L3 porty, subinterface a IRB, BGP dle RFC, NetFlow9/IPFIX, PPS – linerate kapacita fyz. rozhraní nezávislá na velikosti ethernetového rámce a linerate kapacita při filtrování. Dále ECMP s podporou minimálně 32 cest, transceivery QSFP28 pro 100GE a SFP+ pro 10GE (případně ekvivalentní), redundantní Control Plane, oddělený Forwarding Plane a podporu ISSU.

Vzhledem k uvažovanému počtu serverů měl 100GE router obsahovat alespoň 2 100Gb porty a alespoň 34 10Gb portů.

Obdrželi jsme nabídky těchto 100GE routerů:

  • Nokia 7750 SR-7,

  • Cisco ASR9904,

    • varianta č.1 s tzv. „rozpletem“ z 100Gb portů na 10Gb porty,

    • varianta č. 2 s požadovaným počtem 10Gb portů,

  • Brocade MLXe-4,

  • Juniper MX240 ve variantě s tzv. „rozpletem“ z 40Gb portů na 10Gb porty,

  • Huawei NE40-X3A.

V užším výběru jsme se rozhodovali mezi routery Cisco ASR9904 ve variantě č. 2 a Juniper MX240. Oba routery nejlépe splňovali naše kritéria, hlavní rozdíl mezi nimi byl v použití tzv. „rozpletu“ 40Gb portů na 4x10Gb v případě Juniperu a ve velikosti U. Router MX240 zabírá 5U, kdežto ASR9904 o jedno U více.

Vítězem se stal router Juniper MX240 díky nižší ceně a také kvůli velikosti. Velikost 5U nebo 6U není na první pohled zásadním kritériem. Potřebovali jsme do 42U racku umístit 31 serverů, dva switche, ODF a mít prostor i na vedení kabeláže. Router o velikosti 5U byla v tomto případě optimální varianta.

Díky výběrovému řízení jsme získali přijatelné podmínky pro obě řešení, které nejlépe splňovala naše kritéria. I v tomto projektu dbáme na dodržení diverzity HW a je tedy možné, že plánovaný druhý Velký DNS stack bude realizován právě s routerem ASR9904 v revidované konfiguraci.

Management switche

Management switche byly poptávány společně s routery. Hlavními požadovanými technickými parametry management switchů byly:

Velikost 1U, přenosová rychlost 10Gb, 48 1Gb portů a 4 10Gb porty, redundantní zdroje a back-to-front air flow.

Tyto technické parametry nejsou v ničem specifické nebo neobvyklé, všichni dodavatelé nabídli velice srovnatelné modely.

Jednalo se o:

  • Nokia 7210 48T,

  • Nexus 3048TP-1GE,

  • Brocade ICX7450-48,

  • Juniper EX3400-48T-AFI,

  • Huawei CloudEngine 5800 TOR.

Vzhledem k výběru routeru od Juniper bylo logickým krokem zvolit switche od stejného dodavatele. Vybrali jsme tedy switche Juniper EX3400-48T-AFI.

Servery

V případě serverů jsme oslovili 4 dodavatele, řazeno abecedně:

Abacus (SuperMicro), Autocont (DELL), Hewlett Packard Enterprise (HPE) a Tecom (Intel).

Hlavními požadovanými technickými parametry serverů byly:

Velikost serveru 1U s 2,5“ disky, redundantní zdroje, HW diskový řadič s cache, Intel platforma, support next business day, remote management s podporou HTML5 nebo Java a 10G SFP+ síťové karty Intel řady X710. Tyto karty jsme vybrali na základě zkušeností kolegů z vývojového týmu Knot DNS a jejich provedených výkonnostních testů (viz https://www.knot-dns.cz/benchmark/).

Všichni dodavatelé serverů nabídli velice srovnatelné parametry a komponenty, rozhodovali jsme se primárně na základě ceny. Vybrali jsme servery DELL, konkrétně v provedení PowerEdge R430.

Dodání a uskladnění HW

Doručit a dočasně uskladnit jeden router a dva switche pro prvotní konfiguraci před umístěním v datacentru není žádný problém. Ale 31 serverů? Jeden zabalený server má přibližné rozměry 85x60x25 cm a váží přibližně 20kg. Pokud bychom si je nechali všechny doručit na naší adresu, zaplnili bychom tak podstatnou část našeho skladu a komplikovaně bychom je poté převáželi do datacentra. Nejvhodnější bylo tedy doručit servery přímo do datacentra, kde jsme domluvili vlastní uzamykatelnou místnost nedaleko nájezdové rampy do sálu a dodavatele požádali o doručení přímo do datacentra.

Neobešlo se to však bez menších komplikací. Dodávka všech serverů byla rozdělena na 3 části a doručována ve třech dnech, z toho jednou chybně na naší adresu. Naštěstí se datacentrum, ve kterém jsme se rozhodli první Velký DNS stack zprovoznit, nachází nedaleko a kurýr ochotně servery převezl.

V dalších dílech se můžete těšit na zkušenosti s přípravou zázemí v datacentru a uvedením do provozu.

4. díl: První Velký stack – příprava zázemí
5. díl: První Velký stack – instalace, testování a nasazení do provozu
6. díl: První Velký stack – závěr a zkušenosti z provozu

Autor:

Komentáře (1)

  1. Martinkap říká:

    Hellow my name is Martinkap. Wery capable post! Thx :)

Zanechte komentář

Všechny údaje jsou povinné. E-mail nebude zobrazen.

Tato stránka používá Akismet k omezení spamu. Podívejte se, jak vaše data z komentářů zpracováváme..