Ghid de achiziție a serverelor GPU: cum să configurezi, să procuri și să pui în funcțiune hardware pentru AI

Cumpărarea unui server GPU se reduce la patru decizii luate în ordinea corectă: potrivirea clasei de GPU cu sarcina de lucru, alegerea formatului (PCIe sau SXM), decizia între siliciu nou și recondiționat și alegerea unei platforme cu alimentarea, răcirea și conectivitatea pe care le cer GPU-urile. Respectă ordinea și restul este mecanică de achiziție; inverseaz-o (platforma întâi, sarcina la urmă) și cumperi fie o mașină supradimensionată, fie una care intră în throttling.

Acesta este ghidul central al seriei noastre despre infrastructura AI și GPU. Reflectă felul în care noi, la AXISLINK, chiar specificăm și ofertăm sisteme GPU pentru cumpărători și va trimite către materiale aprofundate despre prețuri, reguli de export și comparații între modele pe măsură ce acele ghiduri se publică.

Pe scurt

• Sarcina de lucru determină clasa de GPU; tot restul decurge de aici
• Modulele SXM oferă lățime de bandă completă de interconectare; plăcile PCIe schimbă viteza pe flexibilitate
• GPU-urile de datacenter recondiționate pot tăia serios costurile dacă proveniența este verificată
• Un nod cu 8 GPU-uri este un proiect de alimentare și răcire, nu doar o achiziție de server
• Acceleratoarele AI avansate sunt supuse controalelor la export: planifică conformitatea înainte de comandă
• Termenele de livrare diferă pe canale; piața secundară se mișcă mai repede decât cozile de alocare

Pornește de la sarcina de lucru, nu de la GPU

Piața vorbește în numere de model de GPU, dar specificarea începe de la ce trebuie să facă mașina. O mapare aproximativă, așa cum arată peisajul generației actuale:

Două corolare practice. Întâi, vârfurile generației anterioare rămân cu adevărat utile: un cluster A100 încă antrenează și servește modele serioase, la o fracțiune din prețul vârfurilor actuale pe piața secundară. Apoi, cumpărarea unui GPU mai mare decât cere sarcina nu asigură nimic pentru viitor dacă interconectarea, stocarea sau rețeaua devin mai întâi gâtuirea.

PCIe sau SXM: bifurcația de format

Aceeași generație de GPU apare de obicei în două forme, iar alegerea modelează întregul server.

Regula practică onestă din activitatea noastră de ofertare: mașinile de inferență cu un singur nod și cutiile de cercetare mixte sunt de regulă configurații PCIe; clusterele serioase de antrenare multi-GPU sunt configurații SXM, iar suplimentul de preț cumpără debit real de antrenare, nu o cifră din fișa tehnică.

Nou sau recondiționat: ce oferă cu adevărat piața secundară

GPU-urile de datacenter intră pe piața secundară când hyperscalerii și laboratoarele AI își împrospătează flotele. Această ofertă face acceleratoarele generației anterioare dramatic mai ieftine decât vârfurile noi și așa își permit multe echipe capacitate reală. Ce desparte o achiziție recondiționată bună de un pariu:

• Proveniența: cine a rulat placa, în ce mediu, de ce a fost scoasă din uz
• Testarea: rezultate de burn-in per placă, nu per lot, cu verificări de memorie și termice
• Clasificarea stării declarată în scris, cu fotografii pentru stocul folosit
• Garanția: o fereastră de retur declarată de vânzător, fiindcă acoperirea producătorului rareori se transferă
• Starea firmware-ului și a licențelor: există plăci blocate sau legate de un furnizor și trebuie declarate

Aceasta este o afacere de proveniență. Motivul pentru care cumpărătorii trec achizițiile recondiționate printr-un partener comercial care răspunde pentru marfă, nu printr-un anunț de marketplace, este că verificarea, clasificarea și căile de remediere sunt adevăratul produs; siliciul e același oricum. Stocul nostru de GPU-uri și acceleratoare listează explicit starea și clasificarea exact din acest motiv.

Platforma: serverul din jurul GPU-urilor

GPU-urile nu funcționează singure. Decizia de platformă este locul unde bugetele se rup în tăcere.

Șasiu și densitate

Formate uzuale: servere 2U care primesc 2 până la 4 plăci PCIe; turnuri și șasiuri de rack 4U/5U care primesc 4 până la 8 plăci PCIe cu flux de aer mai bun; și platforme HGX dedicate de 6U-8U care poartă 8 module SXM (clasa Dell PowerEdge XE9680, clasa HPE Cray, sisteme HGX Supermicro). Un șasiu în care plăcile încap nu e totuna cu un șasiu care le răcește la sarcină susținută.

Alimentarea este constrângerea ascunsă

Un nod de vârf cu 8 GPU-uri trage sub sarcină în jur de 10 kW. Asta depășește multe camere de servere de birou și reprezintă o parte semnificativă din bugetul unui rack în colocare. Înainte de comandă, confirmă bugetul de putere al rackului și capacitatea PDU-urilor, capacitatea de răcire pentru căldura produsă efectiv și dacă facilitatea taxează după puterea alocată. Nu o dată am refăcut oferta unui cumpărător de la un nod cu 8 GPU-uri la două noduri cu 4 GPU-uri strict din cauza limitelor de putere ale facilității.

CPU, memorie, stocare, rețea

Reguli de echilibru valabile peste generații: memoria de sistem cel puțin egală cu memoria GPU totală (dublul este confortabil pentru antrenare); spațiu scratch NVMe destul de rapid încât GPU-urile să fie alimentate continuu cu date; iar pentru antrenarea multi-nod, un fabric (Ethernet de mare viteză sau clasa InfiniBand) pe măsura ambiției, pentru că o interconectare înfometată lasă siliciul scump să stea degeaba.

Controale la export: planifică conformitatea înainte de comandă

Acceleratoarele AI avansate sunt supuse controalelor la export, în frunte cu regulile Bureau of Industry and Security din SUA, care restricționează livrarea GPU-urilor de datacenter de top către anumite destinații. Ce înseamnă asta practic pentru un cumpărător:

• Disponibilitatea acceleratoarelor de vârf diferă după piața de destinație; destinațiile restricționate nu pot primi legal anumite SKU-uri
• Vânzătorii vor cere informații despre utilizatorul final și utilizarea finală la modelele controlate; ia asta drept semnul unui partener legal, nu drept o piedică
• Reglementările se schimbă; livrarea ta e guvernată de setul de reguli curent, nu de rezumatul de anul trecut

O spunem direct în propriii termeni: comenzile pot necesita informații despre utilizatorul final, iar tranzacțiile care nu pot fi îndeplinite legal le refuzăm. Un ghid dedicat din această serie detaliază regulile pentru cumpărătorii de peste hotare.

Canale de aprovizionare și termene de livrare

Trei canale largi furnizează sisteme GPU. Alocarea OEM (comandarea unui sistem configurat prin canalele Dell, HPE, Supermicro sau Lenovo) livrează sisteme noi cu garanție, cu termene care se lungesc când cererea explodează. Piața secundară și de recondiționate se mișcă cel mai repede și prețuiește atractiv generațiile anterioare, calitatea depinzând integral de verificare. Companiile de trading ca a noastră stau pe ambele părți: procură GPU-uri și platforme noi sau recondiționate, le verifică și le consolidează și le expediază cu documentație de export din Hong Kong sau China continentală. Care canal câștigă depinde dacă constrângerea ta este bugetul, termenul de livrare sau acoperirea garanției.

Un exemplu lucrat al traseului de decizie

Un cumpărător vrea să facă fine-tuning pe modele open de mărime medie și să le servească pentru câteva mii de utilizatori. Traseul deciziei: sarcina este mixtă, antrenare și inferență; capacitatea de memorie contează mai mult decât interconectarea de vârf, deci 4 până la 8 acceleratoare PCIe din clasa H100/A100 bat la cost o placă de bază SXM; plăcile A100 80GB recondiționate cu proveniență documentată înjumătățesc bugetul de siliciu; platforma este un șasiu 4U cu alimentare redundantă și scratch NVMe; verificarea facilității confirmă că rackul o poate alimenta. Aceasta este o specificație completă și apărabilă, iar fiecare pas al ei este o conversație pe care o purtăm săptămânal cu cumpărătorii.

Întrebări frecvente

Care este diferența dintre un server GPU și un server obișnuit?

Un server GPU este construit în jurul puterii și răcirii acceleratoarelor: surse de alimentare cu wattaj mai mare, flux de aer proiectat pentru plăci sau module la sarcină susținută și o topologie PCIe sau SXM care să le conecteze. Un server obișnuit poate primi uneori una sau două plăci; un server GPU este proiectat pentru dotarea completă.

Ar trebui să cumpăr sau să închiriez calcul pe GPU?

Închirierea câștigă la lucrul în rafale sau exploratoriu; deținerea câștigă când utilizarea este susținută, când contează gravitația datelor sau confidențialitatea ori când prețul GPU-urilor din cloud depășește costul hardware amortizat pentru ciclul tău de utilizare. Multe echipe închiriază pentru prototip și cumpără pentru producție. Un ghid separat din această serie parcurge calculele.

Sunt fiabile GPU-urile de datacenter recondiționate?

Plăcile de datacenter sunt proiectate pentru funcționare continuă, iar plăcile de flotă scoase din uz corect, cu rezultate de test per placă, au vieți utile lungi. Riscul se concentrează în proveniență și testare, nu în conceptul de siliciu: cumpără stoc clasificat, testat și documentat de la un vânzător care răspunde pentru el.

De câtă putere are nevoie un server cu 8 GPU-uri?

Nodurile SXM de vârf cu 8 GPU-uri trag sub sarcină în jur de 10 kW; configurațiile PCIe mai puțin, dar tot mult peste instalația electrică a unui birou obișnuit. Confirmă puterea și răcirea facilității înainte de comandă, nu după livrare.

Pot face upgrade mai târziu de la un server cu 4 GPU-uri la 8 GPU-uri?

Pe platformele PCIe, doar dacă șasiul, sursele și fluxul de aer au fost dimensionate pentru asta de la început. Plăcile de bază SXM sunt configurații fixe. Dacă e probabilă creșterea, cumpără platforma mai mare cu mai puține plăci și populeaz-o în timp.