Guida all'acquisto di server GPU: come dimensionare, reperire e mettere in produzione l'hardware AI

Acquistare un server GPU si riduce a quattro decisioni prese nell'ordine giusto: abbinare la classe di GPU al carico di lavoro, scegliere il form factor (PCIe o SXM), decidere tra silicio nuovo e ricondizionato, e scegliere una piattaforma con l'alimentazione, il raffreddamento e la connettività che le GPU richiedono. Se l'ordine è quello giusto, il resto è meccanica di approvvigionamento; se lo si inverte (prima la piattaforma, per ultimo il carico di lavoro) si compra una macchina sovradimensionata oppure una che va in throttling.

Questa è la guida cardine della nostra serie sull'infrastruttura AI e GPU. Riflette il modo in cui in AXISLINK specifichiamo e quotiamo davvero i sistemi GPU per i buyer, e rimanda ad approfondimenti su prezzi, regole di export e confronti tra modelli specifici man mano che quelle guide vengono pubblicate.

In sintesi

• Il carico di lavoro determina la classe di GPU; tutto il resto ne consegue
• I moduli SXM offrono piena banda di interconnessione; le schede PCIe scambiano velocità con flessibilità
• Le GPU da datacenter ricondizionate possono tagliare nettamente i costi se la provenienza è verificata
• Un nodo a 8 GPU è un progetto di alimentazione e raffreddamento, non un semplice acquisto di server
• Gli acceleratori AI avanzati sono soggetti a controlli sull'export: pianificare la compliance prima di ordinare
• I tempi di consegna variano per canale; il mercato secondario si muove più in fretta delle code di allocazione

Partire dal carico di lavoro, non dalla GPU

Il mercato parla per sigle di modello GPU, ma la specifica parte da ciò che la macchina deve fare. Una mappatura di massima, allo stato attuale del panorama generazionale:

Due corollari pratici. Primo: i modelli di punta della generazione precedente restano davvero utili; un cluster A100 addestra e serve ancora modelli seri, a una frazione del prezzo dei flagship attuali sul mercato secondario. Secondo: comprare una GPU più grande di quanto il carico richieda non rende nulla a prova di futuro se prima diventano collo di bottiglia l'interconnessione, lo storage o la rete.

PCIe o SXM: il bivio del form factor

La stessa generazione di GPU esce di solito in due forme, e la scelta plasma l'intero server.

La regola pratica onesta che emerge dal nostro lavoro di quotazione: le macchine da inferenza a nodo singolo e i box di ricerca misti sono di solito build PCIe; i cluster di training multi-GPU seri sono build SXM, e il sovrapprezzo compra throughput di training reale, non un numero da scheda tecnica.

Nuovo o ricondizionato: cosa offre davvero il mercato secondario

Le GPU da datacenter entrano nel mercato secondario quando hyperscaler e laboratori AI rinnovano le flotte. Quell'offerta rende gli acceleratori di generazione precedente drasticamente più economici dei nuovi flagship, ed è così che molti team si permettono capacità reale. Cosa distingue un buon acquisto ricondizionato da una scommessa:

• Provenienza: chi ha fatto girare la scheda, in quale ambiente, e perché è stata dismessa
• Test: risultati di burn-in per singola scheda, non per lotto, con verifiche di memoria e termiche
• Classificazione delle condizioni dichiarata per iscritto, con fotografie per lo stock usato
• Garanzia: una finestra di reso dichiarata dal venditore, dato che la copertura del produttore raramente si trasferisce
• Stato di firmware e licenze: schede bloccate o vincolate a un vendor esistono e vanno dichiarate

Questo è un business di provenienza. Il motivo per cui i buyer fanno passare gli acquisti ricondizionati da una controparte commerciale che risponde del proprio operato, anziché da un annuncio su marketplace, è che verifica, classificazione e tutele sono il vero prodotto; il silicio è identico in entrambi i casi. Il nostro stock di GPU e acceleratori riporta esplicitamente condizioni e grading esattamente per questa ragione.

La piattaforma: il server attorno alle GPU

Le GPU non funzionano da sole. La decisione sulla piattaforma è il punto in cui i budget si rompono in silenzio.

Chassis e densità

Formati comuni: server 2U che ospitano da 2 a 4 schede PCIe; tower e chassis rack 4U/5U che ospitano da 4 a 8 schede PCIe con flusso d'aria migliore; e piattaforme HGX dedicate 6U-8U che portano 8 moduli SXM (classe Dell PowerEdge XE9680, classe HPE Cray, sistemi HGX Supermicro). Uno chassis in cui le schede entrano non è lo stesso che le raffredda sotto carico prolungato.

L'alimentazione è il vincolo nascosto

Un nodo flagship a 8 GPU assorbe nell'ordine dei 10 kW sotto carico. È oltre la portata di molte sale server aziendali e una frazione significativa del budget di rack in un colo. Prima di ordinare, verificare il budget elettrico del rack e la capacità delle PDU, la capacità di raffreddamento per il calore effettivamente prodotto, e se la struttura fattura in base alla potenza allocata. Più di una volta abbiamo riquotato un buyer da un nodo a 8 GPU a due nodi a 4 GPU solo per i limiti di potenza della struttura.

CPU, memoria, storage, rete

Regole di bilanciamento valide attraverso le generazioni: memoria di sistema almeno pari alla memoria GPU totale (il doppio è comodo per il training); scratch NVMe abbastanza veloce da tenere alimentate le GPU; e per il training multi-nodo un fabric (Ethernet ad alta velocità o classe InfiniBand) all'altezza dell'ambizione, perché un'interconnessione affamata lascia inoperoso silicio costoso.

Controlli sull'export: pianificare la compliance prima di ordinare

Gli acceleratori AI avanzati sono soggetti a controlli sull'export, primi fra tutti i regolamenti del Bureau of Industry and Security statunitense che limitano la spedizione delle GPU da datacenter di fascia più alta verso certe destinazioni. Cosa significa in pratica per un buyer:

• La disponibilità degli acceleratori di punta varia per mercato di destinazione; le destinazioni soggette a restrizioni non possono ricevere legalmente determinati SKU
• I venditori chiederanno informazioni su utente finale e uso finale per i modelli controllati; è il segno di una controparte in regola, non un fastidio
• Le normative cambiano; a governare la spedizione è il quadro di regole attuale, non il riassunto dell'anno scorso

Lo dichiariamo senza giri di parole nei nostri stessi termini: gli ordini possono richiedere informazioni sull'utente finale, e rifiutiamo le transazioni che non possono essere eseguite legalmente. Una guida dedicata di questa serie approfondisce le regole per i buyer esteri.

Canali di approvvigionamento e tempi di consegna

Tre grandi canali riforniscono i sistemi GPU. L'allocazione OEM (ordinare un sistema configurato attraverso i canali Dell, HPE, Supermicro o Lenovo) fornisce sistemi nuovi coperti da garanzia, con tempi di consegna che si allungano quando la domanda impenna. Il mercato secondario e del ricondizionato si muove più in fretta e prezza in modo attraente le generazioni precedenti, con la qualità che dipende interamente dalla verifica. Le società di trading come la nostra stanno a cavallo di entrambi: reperiscono GPU e piattaforme nuove o ricondizionate, le verificano e le consolidano, e le spediscono con documentazione di export da Hong Kong o dalla Cina continentale. Quale canale vince dipende dal fatto che il vostro vincolo sia il budget, i tempi di consegna o la copertura di garanzia.

Un esempio svolto del percorso decisionale

Un buyer vuole fare fine-tuning di modelli open di taglia media e servirli a qualche migliaio di utenti. Percorso decisionale: il carico è misto training e inferenza; la capacità di memoria conta più dell'interconnessione di picco, quindi da 4 a 8 acceleratori PCIe in classe H100/A100 battono sul costo una baseboard SXM; schede A100 80GB ricondizionate con provenienza documentata dimezzano il budget del silicio; la piattaforma è uno chassis 4U con alimentazione ridondante e scratch NVMe; la verifica della struttura conferma che il rack può alimentarla. È una specifica completa e difendibile, e ogni suo passaggio è una conversazione che abbiamo con i buyer ogni settimana.

FAQ

Qual è la differenza tra un server GPU e un server normale?

Un server GPU è costruito attorno alla potenza e al raffreddamento degli acceleratori: alimentatori di wattaggio superiore, flusso d'aria progettato per schede o moduli sotto carico prolungato, e una topologia PCIe o SXM per collegarli. Un server normale a volte può ospitare una o due schede; un server GPU è progettato per la dotazione completa.

Meglio comprare o noleggiare la potenza di calcolo GPU?

Il noleggio vince per lavori a picchi o esplorativi; la proprietà vince quando l'utilizzo è costante, quando contano la gravità dei dati o la privacy, o quando i prezzi delle GPU cloud superano il costo hardware ammortizzato per il vostro ciclo di utilizzo. Molti team noleggiano per prototipare e comprano per la produzione. Una guida separata di questa serie sviluppa i conti.

Le GPU da datacenter ricondizionate sono affidabili?

Le schede da datacenter sono progettate per il funzionamento continuo, e le schede di flotta dismesse a regola d'arte, con risultati di test per singola scheda, hanno una lunga vita utile. Il rischio si concentra su provenienza e test, non sul concetto di silicio: comprate stock classificato, testato e documentato da un venditore che risponde del proprio operato.

Quanta potenza serve a un server a 8 GPU?

I nodi SXM flagship a 8 GPU assorbono nell'ordine dei 10 kW sotto carico; le build PCIe meno, ma comunque ben oltre l'impianto elettrico di un ufficio ordinario. Verificate potenza e raffreddamento della struttura prima di ordinare, non dopo la consegna.

Posso aggiornare un server a 4 GPU a 8 GPU in seguito?

Su piattaforme PCIe, solo se chassis, alimentatori e flusso d'aria sono stati dimensionati per questo fin dall'inizio. Le baseboard SXM sono configurazioni fisse. Se la crescita è probabile, comprate la piattaforma più grande con meno schede e popolatela nel tempo.