Průvodce nákupem GPU serveru: jak specifikovat, pořídit a nasadit hardware pro AI

Nákup GPU serveru se scvrkává na čtyři rozhodnutí učiněná ve správném pořadí: sladit třídu GPU s pracovní zátěží, zvolit provedení (PCIe nebo SXM), rozhodnout mezi novým a repasovaným křemíkem a vybrat platformu s napájením, chlazením a konektivitou, jaké GPU vyžadují. Dodržíte-li pořadí, zbytek je nákupní mechanika; obrátíte-li ho (nejdřív platforma, zátěž nakonec), koupíte buď zbytečně velký stroj, nebo takový, který se škrtí.

Toto je výchozí průvodce naší série o infrastruktuře AI a GPU. Odráží to, jak v AXISLINK skutečně specifikujeme a naceňujeme GPU systémy pro kupující, a postupně bude odkazovat na podrobnější materiály o cenách, exportních pravidlech a srovnáních konkrétních modelů, jak budou tyto průvodce vycházet.

Ve zkratce

• Pracovní zátěž určuje třídu GPU; všechno ostatní z toho vyplývá
• Moduly SXM nabízejí plnou propustnost propojení; karty PCIe mění rychlost za flexibilitu
• Repasovaná datacentrová GPU mohou výrazně srazit náklady, pokud je ověřen původ
• Uzel s 8 GPU je projekt napájení a chlazení, ne jen nákup serveru
• Pokročilé AI akcelerátory podléhají exportním kontrolám: compliance naplánujte před objednávkou
• Dodací lhůty se liší podle kanálu; sekundární trh se hýbe rychleji než alokační fronty

Začněte u zátěže, ne u GPU

Trh mluví v číslech modelů GPU, ale specifikace začíná u toho, co má stroj dělat. Hrubé mapování, jak vypadá v krajině současné generace:

Dva praktické důsledky. Zaprvé, vlajkové lodě předchozí generace zůstávají opravdu užitečné: cluster A100 stále trénuje a obsluhuje seriózní modely, a to za zlomek ceny současných vlajkových lodí na sekundárním trhu. Zadruhé, koupě většího GPU, než zátěž potřebuje, nic nezabezpečí do budoucna, pokud se úzkým hrdlem stane dřív propojení, úložiště nebo síť.

PCIe nebo SXM: rozcestí provedení

Stejná generace GPU obvykle vychází ve dvou provedeních a volba formuje celý server.

Upřímné pravidlo z naší nabídkové praxe: jednouzlové inferenční stroje a smíšené výzkumné mašiny jsou obvykle sestavy PCIe; seriózní trénovací clustery s více GPU jsou sestavy SXM a příplatek kupuje skutečnou trénovací propustnost, ne číslo z katalogového listu.

Nový, nebo repasovaný: co sekundární trh skutečně nabízí

Datacentrová GPU se dostávají na sekundární trh, když hyperscaleři a AI laboratoře obměňují flotily. Tato nabídka dělá akcelerátory předchozí generace dramaticky levnějšími než nové vlajkové lodě a právě tak si mnoho týmů může dovolit skutečnou kapacitu. Co odlišuje dobrý repasovaný nákup od hazardu:

• Původ: kdo kartu provozoval, v jakém prostředí a proč byla vyřazena
• Testování: výsledky burn-in za každou kartu, ne za šarži, s kontrolami paměti a teplot
• Hodnocení stavu uvedené písemně, u použitého zboží s fotografiemi
• Záruka: prodejcem deklarované okno pro vrácení, protože krytí výrobce se zřídka převádí
• Stav firmwaru a licencí: zamčené karty nebo karty vázané na dodavatele existují a musí být přiznány

Tohle je byznys postavený na původu. Důvod, proč kupující vedou repasované nákupy přes odpovědného obchodního partnera místo inzerátu na marketplace, je ten, že ověření, hodnocení stavu a možnost nápravy jsou skutečným produktem; křemík je v obou případech stejný. Naše skladové zásoby GPU a akcelerátorů přesně z tohoto důvodu uvádějí stav a hodnocení výslovně.

Platforma: server kolem GPU

GPU neběží sama od sebe. Rozhodnutí o platformě je místo, kde se rozpočty potichu lámou.

Šasi a hustota

Běžné formáty: servery 2U pojmou 2 až 4 karty PCIe; věže a rackové šasi 4U/5U pojmou 4 až 8 karet PCIe s lepším prouděním vzduchu; a specializované platformy HGX 6U-8U nesou 8 modulů SXM (třída Dell PowerEdge XE9680, třída HPE Cray, systémy HGX od Supermicro). Šasi, do kterého se karty vejdou, není totéž co šasi, které je uchladí při trvalé zátěži.

Napájení je skryté omezení

Vlajkový uzel s 8 GPU odebírá pod zátěží řádově 10 kW. To je nad možnosti mnoha kancelářských serveroven a znamená to podstatnou část energetického rozpočtu racku v kolokaci. Před objednávkou si potvrďte energetický rozpočet racku a kapacitu PDU, chladicí kapacitu pro skutečně produkované teplo a to, zda zařízení účtuje podle rezervovaného příkonu. Víc než jednou jsme kupujícímu přepočítali nabídku z jednoho uzlu s 8 GPU na dva uzly se 4 GPU čistě kvůli limitům napájení lokality.

CPU, paměť, úložiště, síť

Pravidla rovnováhy platná napříč generacemi: systémová paměť alespoň ve výši celkové paměti GPU (dvojnásobek je pro trénování pohodlný); scratch NVMe dost rychlý na to, aby GPU stále dostávala data; a pro víceuzlové trénování fabric (rychlý Ethernet nebo třída InfiniBand) odpovídající ambicím, protože hladovějící propojení nechává drahý křemík zahálet.

Exportní kontroly: compliance naplánujte před objednávkou

Pokročilé AI akcelerátory podléhají exportním kontrolám, především pravidlům amerického Bureau of Industry and Security, která omezují dodávky špičkových datacentrových GPU do některých destinací. Co to v praxi znamená pro kupujícího:

• Dostupnost vlajkových akcelerátorů se liší podle cílového trhu; omezené destinace nemohou legálně obdržet určitá SKU
• Prodejci si u kontrolovaných modelů vyžádají informace o koncovém uživateli a koncovém užití; berte to jako známku legálního partnera, ne jako obstrukci
• Regulace se mění; vaši zásilku řídí aktuální sada pravidel, ne loňské shrnutí

Říkáme to otevřeně i ve vlastních podmínkách: objednávky mohou vyžadovat informace o koncovém uživateli a transakce, které nelze legálně splnit, odmítáme. Samostatný průvodce v této sérii rozebírá pravidla pro zahraniční kupující podrobněji.

Kanály pořízení a dodací lhůty

GPU systémy dodávají tři široké kanály. Alokace OEM (objednávka nakonfigurovaného systému přes kanály Dell, HPE, Supermicro nebo Lenovo) přináší nové systémy kryté zárukou, s dodacími lhůtami, které se při špičkách poptávky natahují. Sekundární a repasovaný trh se hýbe nejrychleji a předchozí generace naceňuje atraktivně, přičemž kvalita stojí a padá s ověřením. Obchodní firmy jako ta naše působí v obou: pořizují nová nebo repasovaná GPU a platformy, ověřují je a konsolidují a odesílají s exportní dokumentací z Hongkongu nebo pevninské Číny. Který kanál vyhraje, závisí na tom, zda je vaším omezením rozpočet, dodací lhůta, nebo záruční krytí.

Praktický příklad rozhodovací cesty

Kupující chce dolaďovat středně velké otevřené modely a obsluhovat jimi několik tisíc uživatelů. Rozhodovací cesta: zátěž je mix trénování a inference; kapacita paměti je důležitější než špičkové propojení, takže 4 až 8 akcelerátorů PCIe ve třídě H100/A100 poráží základní desku SXM cenou; repasované karty A100 80GB s doloženým původem srazí rozpočet na křemík na polovinu; platformou je šasi 4U s redundantním napájením a scratch NVMe; kontrola lokality potvrdí, že ji rack uživí. To je úplná, obhajitelná specifikace a každý její krok je rozhovor, který s kupujícími vedeme každý týden.

Časté dotazy

Jaký je rozdíl mezi GPU serverem a běžným serverem?

GPU server je postaven kolem napájení a chlazení akcelerátorů: zdroje s vyšším výkonem, proudění vzduchu navržené pro karty nebo moduly při trvalé zátěži a topologie PCIe nebo SXM pro jejich propojení. Běžný server někdy pojme jednu nebo dvě karty; GPU server je navržen na plné osazení.

Mám GPU výpočty koupit, nebo pronajmout?

Pronájem vítězí u nárazové nebo průzkumné práce; vlastnictví vítězí, když je vytížení trvalé, když záleží na gravitaci dat nebo soukromí, nebo když ceny cloudových GPU převyšují amortizované náklady na hardware při vašem vytížení. Mnoho týmů si pronajímá na prototypy a kupuje pro produkci. Samostatný průvodce v této sérii projde celou tu aritmetiku.

Jsou repasovaná datacentrová GPU spolehlivá?

Datacentrové karty jsou konstruované pro nepřetržitý provoz a řádně vyřazené karty z flotil s výsledky testů za každý kus mají dlouhou životnost. Riziko se koncentruje v původu a testování, ne v samotném konceptu křemíku: kupujte ohodnocené, otestované a zdokumentované zboží od odpovědného prodejce.

Kolik energie potřebuje server s 8 GPU?

Vlajkové uzly SXM s 8 GPU odebírají pod zátěží řádově 10 kW; sestavy PCIe méně, ale pořád daleko nad možnosti běžných kancelářských rozvodů. Napájení a chlazení lokality si potvrďte před objednávkou, ne po dodání.

Mohu server se 4 GPU později rozšířit na 8 GPU?

Na platformách PCIe jen tehdy, pokud šasi, zdroje a proudění vzduchu byly na to dimenzované od začátku. Základní desky SXM jsou pevné konfigurace. Je-li růst pravděpodobný, kupte větší platformu s menším počtem karet a osazujte ji postupně.