GPU-szerver vásárlási útmutató: így méretezd, szerezd be és helyezd üzembe az AI-hardvert

Egy GPU-szerver megvásárlása négy, helyes sorrendben meghozott döntésre vezethető vissza: párosítsd a GPU-osztályt a munkaterheléshez, válaszd ki a kivitelt (PCIe vagy SXM), dönts az új és a felújított szilícium között, majd válassz olyan platformot, amely biztosítja a GPU-k által megkövetelt tápellátást, hűtést és összeköttetést. Ha a sorrend stimmel, a többi már beszerzési rutin; ha megfordítod (előbb platform, utoljára munkaterhelés), akkor vagy túl nagy gépet veszel, vagy olyat, amelyet a hőtermelés fojt vissza.

Ez az AI- és GPU-infrastruktúra sorozatunk központi útmutatója. Azt tükrözi, ahogyan az AXISLINK-nél ténylegesen specifikáljuk és árazzuk a GPU-rendszereket a vevőknek, és ahogy a sorozat további részei megjelennek, innen linkelünk az árazásról, az exportszabályokról és a konkrét modell-összehasonlításokról szóló mélyebb anyagokra.

Röviden

• A munkaterhelés határozza meg a GPU-osztályt; minden más ebből következik
• Az SXM modulok teljes összeköttetési sávszélességet adnak; a PCIe kártyák a sebességet rugalmasságra cserélik
• A felújított adatközponti GPU-k élesen csökkenthetik a költséget, ha az eredet ellenőrzött
• Egy 8 GPU-s csomópont tápellátási és hűtési projekt, nem egyszerű szervervásárlás
• A fejlett AI-gyorsítók exportellenőrzés alá esnek: a megfelelést a rendelés előtt tervezd meg
• A szállítási idők csatornánként eltérnek; a másodpiac gyorsabb, mint az allokációs sorok

A munkaterheléssel kezdd, ne a GPU-val

A piac GPU-modellszámokban beszél, de a specifikáció azzal kezdődik, hogy mit kell tudnia a gépnek. Durva megfeleltetés a jelenlegi generációs felállás szerint:

Két gyakorlati következmény. Először: az előző generáció csúcsmodelljei valóban hasznosak maradnak; egy A100 klaszter ma is komoly modelleket tanít és szolgál ki, a jelenlegi csúcsmodellek árának töredékéért a másodpiacon. Másodszor: a munkaterhelésnél nagyobb GPU megvétele semmit sem tesz jövőállóvá, ha előbb az összeköttetés, a tároló vagy a hálózat válik szűk keresztmetszetté.

PCIe vagy SXM: a kivitel elágazása

Ugyanaz a GPU-generáció rendszerint két kivitelben jelenik meg, és a választás az egész szervert meghatározza.

Az árajánlat-készítési munkánkból származó őszinte ökölszabály: az egycsomópontos inferenciagépek és a vegyes kutatói gépek többnyire PCIe-összeállítások; a komoly, több GPU-s tanítóklaszterek SXM-összeállítások, és a felár valódi tanítási áteresztőképességet vesz, nem egy adatlapi számot.

Új vagy felújított: mit kínál valójában a másodpiac

Az adatközponti GPU-k akkor kerülnek a másodpiacra, amikor a hyperscalerek és az AI-laborok flottát frissítenek. Ez a kínálat az előző generációs gyorsítókat drámaian olcsóbbá teszi az új csúcsmodelleknél, és sok csapat így engedheti meg magának a valódi kapacitást. Ami a jó felújított vételt elválasztja a szerencsejátéktól:

• Eredet: ki üzemeltette a kártyát, milyen környezetben, és miért vonták ki
• Tesztelés: burn-in eredmények kártyánként, nem tételenként, memória- és hőellenőrzéssel
• Írásban rögzített állapotbesorolás, használt készletnél fényképekkel
• Garancia: az eladó által vállalt visszaküldési időablak, mert a gyártói fedezet ritkán száll át
• Firmware- és licencállapot: léteznek zárolt vagy gyártóhoz kötött kártyák, és ezt fel kell tüntetni

Ez az eredet üzletága. A vevők azért terelik a felújított vásárlásokat elszámoltatható kereskedő partnerhez piactéri hirdetés helyett, mert az ellenőrzés, a besorolás és a jogorvoslat maga a termék; a szilícium mindkét úton ugyanaz. A mi GPU- és gyorsítókészletünk pontosan ezért tünteti fel kifejezetten az állapotot és a besorolást.

A platform: a szerver a GPU-k körül

A GPU-k nem működnek önmagukban. A platformdöntés az a pont, ahol a költségvetések csendben eltörnek.

Ház és sűrűség

Gyakori formák: 2U szerverek 2-4 PCIe kártyával; 4U/5U tornyok és rackházak 4-8 PCIe kártyával, jobb légáramlással; valamint célra épített 6U-8U HGX platformok 8 SXM modullal (Dell PowerEdge XE9680 osztály, HPE Cray osztály, Supermicro HGX rendszerek). Az a ház, amelybe a kártyák beleférnek, nem ugyanaz, mint amelyik tartós terhelés alatt hűteni is tudja őket.

A tápellátás a rejtett korlát

Egy csúcskategóriás, 8 GPU-s csomópont terhelés alatt nagyságrendileg 10 kW-ot vesz fel. Ez sok irodai szerverszobán túlmutat, és egy kolokációs rack energiakeretének jelentős hányada. Rendelés előtt erősítsd meg a rack energiakeretét és a PDU-kapacitást, a ténylegesen termelt hőhöz szükséges hűtési kapacitást, és azt, hogy a létesítmény a lefoglalt teljesítmény alapján számláz-e. Nem egyszer áraztunk át vevőt egy 8 GPU-s csomópontról két 4 GPU-s csomópontra pusztán a létesítmény teljesítménykorlátai miatt.

CPU, memória, tároló, hálózat

Generációkon át érvényes egyensúlyi szabályok: a rendszermemória legalább érje el a teljes GPU-memóriát (a kétszerese kényelmes tanításhoz); az NVMe scratch legyen elég gyors ahhoz, hogy a GPU-k folyamatosan kapjanak adatot; többcsomópontos tanításhoz pedig az ambícióhoz illő fabric kell (nagy sebességű Ethernet vagy InfiniBand osztály), mert a kiéheztetett összeköttetés tétlenségre kárhoztatja a drága szilíciumot.

Exportellenőrzések: a megfelelést a rendelés előtt tervezd meg

A fejlett AI-gyorsítók exportellenőrzés alá esnek, legismertebbek az amerikai Bureau of Industry and Security szabályai, amelyek a legfelső kategóriás adatközponti GPU-k bizonyos célországokba szállítását korlátozzák. Mit jelent ez a vevőnek a gyakorlatban:

• A csúcsgyorsítók elérhetősége célpiaconként eltér; a korlátozott célországok bizonyos SKU-kat jogszerűen nem kaphatnak meg
• Az eladók ellenőrzött modelleknél végfelhasználói és végfelhasználási adatokat kérnek; ezt a jogszerű partner jelének tekintsd, ne akadékoskodásnak
• A szabályozás változik; a szállítmányodra a hatályos szabályrendszer vonatkozik, nem a tavalyi összefoglaló

Saját feltételeinkben is kimondjuk: a rendelésekhez végfelhasználói adatok kellhetnek, és a jogszerűen nem teljesíthető ügyleteket visszautasítjuk. A sorozat egyik külön útmutatója mélyebben kibontja a szabályokat a tengerentúli vevőknek.

Beszerzési csatornák és szállítási idők

A GPU-rendszereket három nagy csatorna szállítja. Az OEM-allokáció (konfigurált rendszer rendelése Dell, HPE, Supermicro vagy Lenovo csatornákon) garanciával fedezett új rendszereket ad, a szállítási idők viszont megnyúlnak, amikor a kereslet megugrik. A másod- és felújított piac mozog a leggyorsabban, és vonzóan árazza az előző generációkat, a minőség viszont teljes egészében az ellenőrzésen múlik. A miénkhez hasonló kereskedőcégek mindkét oldalon jelen vannak: új vagy felújított GPU-kat és platformokat szereznek be, ellenőrzik és konszolidálják őket, majd exportdokumentációval szállítják Hongkongból vagy a szárazföldi Kínából. Hogy melyik csatorna nyer, azon múlik, hogy a korlátod a költségvetés, a szállítási idő vagy a garanciális fedezet.

Egy végigszámolt példa a döntési útra

Egy vevő közepes méretű nyílt modelleket akar finomhangolni és néhány ezer felhasználónak kiszolgálni. Döntési út: a munkaterhelés vegyes tanítás és inferencia; a memóriakapacitás többet nyom a latban, mint a csúcs-összeköttetés, így 4-8 darab H100/A100 osztályú PCIe gyorsító költségben veri az SXM alaplapot; a dokumentált eredetű, felújított A100 80GB kártyák megfelezik a szilíciumkeretet; a platform egy 4U ház redundáns táppal és NVMe scratch tárolóval; a létesítményellenőrzés megerősíti, hogy a rack el tudja látni. Ez teljes, megvédhető specifikáció, és minden lépése olyan beszélgetés, amelyet hetente folytatunk vevőkkel.

GYIK

Mi a különbség egy GPU-szerver és egy hagyományos szerver között?

A GPU-szerver a gyorsítók tápellátása és hűtése köré épül: nagyobb teljesítményű tápegységek, tartós terhelésen lévő kártyákhoz vagy modulokhoz tervezett légáramlás, és az összekapcsolásukra szolgáló PCIe vagy SXM topológia. Egy hagyományos szerver néha elbír egy-két kártyát; a GPU-szervert teljes kiépítésre tervezik.

Vegyek vagy béreljek GPU-számítási kapacitást?

Löketszerű vagy felderítő munkánál a bérlés nyer; a tulajdonlás akkor, ha a kihasználtság tartós, ha számít az adatgravitáció vagy az adatvédelem, vagy ha a felhős GPU-árak meghaladják a saját üzemciklusodra amortizált hardverköltséget. Sok csapat prototípushoz bérel, éleshez vásárol. A sorozat külön útmutatója végigszámolja a matekot.

Megbízhatóak a felújított adatközponti GPU-k?

Az adatközponti kártyákat folyamatos üzemre tervezik, és a szabályosan kivont flottakártyák kártyánkénti teszteredményekkel hosszú hasznos élettartamúak. A kockázat az eredetben és a tesztelésben összpontosul, nem a szilícium koncepciójában: minősített, tesztelt, dokumentált készletet vásárolj elszámoltatható eladótól.

Mennyi áramot igényel egy 8 GPU-s szerver?

A csúcskategóriás, 8 GPU-s SXM csomópontok terhelés alatt nagyságrendileg 10 kW-ot vesznek fel; a PCIe-összeállítások kevesebbet, de még így is messze túl vannak a szokásos irodai vezetékezésen. A létesítmény tápellátását és hűtését rendelés előtt erősítsd meg, ne a leszállítás után.

Bővíthetek később egy 4 GPU-s szervert 8 GPU-ra?

PCIe platformon csak akkor, ha a házat, a tápegységeket és a légáramlást kezdettől erre méretezték. Az SXM alaplapok rögzített konfigurációk. Ha a növekedés valószínű, vedd meg a nagyobb platformot kevesebb kártyával, és töltsd fel idővel.