Köpguide för GPU-servrar: så specificerar, anskaffar och driftsätter du AI-hårdvara

Att köpa en GPU-server kokar ner till fyra beslut tagna i rätt ordning: matcha GPU-klassen mot arbetslasten, välj formfaktor (PCIe eller SXM), avgör mellan nytt och rekonditionerat kisel, och välj en plattform med den ström, kylning och konnektivitet som GPU:erna kräver. Får du ordningen rätt är resten inköpsmekanik; vänder du på den (plattform först, arbetslast sist) köper du antingen för mycket maskin eller en som stryps termiskt.

Det här är navguiden i vår serie om AI- och GPU-infrastruktur. Den speglar hur vi på AXISLINK faktiskt specificerar och offererar GPU-system åt köpare, och den länkar till fördjupningar om priser, exportregler och specifika modelljämförelser i takt med att de guiderna publiceras.

I korthet

• Arbetslasten avgör GPU-klassen; allt annat följer därav
• SXM-moduler ger full interconnect-bandbredd; PCIe-kort byter hastighet mot flexibilitet
• Rekonditionerade datacenter-GPU:er kan kapa kostnaden rejält om ursprunget är verifierat
• En nod med 8 GPU:er är ett ström- och kylprojekt, inte bara ett serverköp
• Avancerade AI-acceleratorer omfattas av exportkontroller: planera regelefterlevnaden före beställning
• Ledtider varierar per kanal; andrahandsmarknaden rör sig snabbare än allokeringsköer

Börja med arbetslasten, inte med GPU:n

Marknaden pratar i GPU-modellnummer, men specifikationen börjar med vad maskinen ska göra. En grov mappning som läget ser ut i nuvarande generationslandskap:

Två praktiska slutsatser. För det första förblir föregående generations toppmodeller genuint användbara: ett A100-kluster tränar och serverar fortfarande seriösa modeller, till en bråkdel av dagens flaggskeppspriser på andrahandsmarknaden. För det andra framtidssäkrar en större GPU än arbetslasten kräver ingenting, om interconnect, lagring eller nätverk blir flaskhalsen först.

PCIe eller SXM: formfaktorns vägskäl

Samma GPU-generation levereras oftast i två utföranden, och valet formar hela servern.

Den ärliga tumregeln från vårt offertarbete: inferensmaskiner med en nod och blandade forskningsburkar är oftast PCIe-byggen; seriösa träningskluster med många GPU:er är SXM-byggen, och prispåslaget köper verklig träningsgenomströmning snarare än en siffra i databladet.

Nytt eller rekonditionerat: vad andrahandsmarknaden faktiskt erbjuder

Datacenter-GPU:er når andrahandsmarknaden när hyperscalers och AI-labb förnyar sina flottor. Det utbudet gör föregående generations acceleratorer dramatiskt billigare än nya flaggskepp, och det är så många team har råd med verklig kapacitet. Det som skiljer ett bra rekonditionerat köp från ett hasardspel:

• Ursprung: vem körde kortet, i vilken miljö, och varför togs det ur drift
• Testning: burn-in-resultat per kort, inte per parti, med minnes- och termikkontroller
• Skickklassning angiven skriftligt, med fotografier för begagnat lager
• Garanti: ett angivet returfönster från säljaren, eftersom tillverkarens täckning sällan följer med
• Firmware- och licensstatus: låsta eller leverantörsbundna kort finns och måste redovisas

Det här är en ursprungsbransch. Skälet till att köpare låter rekonditionerade köp gå via en ansvarstagande handelsmotpart i stället för en marketplace-annons är att verifiering, klassning och möjlighet till reklamation är den egentliga produkten; kislet är detsamma oavsett. Vårt lager av GPU:er och acceleratorer anger skick och klassning uttryckligen av exakt det skälet.

Plattformen: servern runt GPU:erna

GPU:er kör inte sig själva. Plattformsbeslutet är där budgetar tyst spricker.

Chassi och densitet

Vanliga format: 2U-servrar som tar 2 till 4 PCIe-kort; 4U/5U-torn och rackchassin som tar 4 till 8 PCIe-kort med bättre luftflöde; och specialbyggda 6U-8U HGX-plattformar som bär 8 SXM-moduler (Dell PowerEdge XE9680-klass, HPE Cray-klass, Supermicro HGX-system). Ett chassi som rymmer korten är inte samma sak som ett chassi som kyler dem vid ihållande last.

Strömmen är den dolda begränsningen

En flaggskeppsnod med 8 GPU:er drar i storleksordningen 10 kW under last. Det överstiger många kontorsserverrum och är en betydande del av en rackbudget i en colo-anläggning. Bekräfta före beställning rackets strömbudget och PDU-kapacitet, kylkapaciteten för den värme som faktiskt produceras, och om anläggningen debiterar efter reserverad effekt. Mer än en gång har vi offererat om en köpare från en nod med 8 GPU:er till två noder med 4 GPU:er enbart på grund av anläggningens effektgränser.

CPU, minne, lagring, nätverk

Balansregler som håller över generationer: systemminne som minst motsvarar det totala GPU-minnet (dubbelt är bekvämt för träning); NVMe-scratch snabbt nog att hålla GPU:erna matade; och för träning över flera noder en fabric (höghastighets-Ethernet eller InfiniBand-klass) i nivå med ambitionen, eftersom en svältfödd interconnect låter dyrt kisel stå stilla.

Exportkontroller: planera regelefterlevnaden innan du beställer

Avancerade AI-acceleratorer omfattas av exportkontroller, mest framträdande reglerna från amerikanska Bureau of Industry and Security som begränsar leverans av datacenter-GPU:er i toppskiktet till vissa destinationer. Vad det innebär för en köpare i praktiken:

• Tillgången på flaggskeppsacceleratorer skiljer sig åt mellan destinationsmarknader; begränsade destinationer kan inte lagligt ta emot vissa SKU:er
• Säljare kommer att be om slutanvändar- och slutanvändningsinformation för kontrollerade modeller; se det som tecknet på en laglig motpart, inte som friktion
• Regelverk ändras; det är den aktuella regeluppsättningen som styr din leverans, inte fjolårets sammanfattning

Vi säger det rakt ut i våra egna villkor: beställningar kan kräva slutanvändarinformation, och vi avböjer transaktioner som inte kan genomföras lagligt. En särskild guide i den här serien går djupare in på reglerna för utländska köpare.

Anskaffningskanaler och ledtider

Tre breda kanaler levererar GPU-system. OEM-allokering (att beställa ett konfigurerat system via Dell-, HPE-, Supermicro- eller Lenovo-kanaler) ger nya system med garanti, med ledtider som töjs ut när efterfrågan rusar. Andrahands- och rekonditioneringsmarknaden rör sig snabbast och prissätter föregående generationer attraktivt, med kvalitet som helt hänger på verifiering. Handelsbolag som vårt spänner över båda: anskaffar nya eller rekonditionerade GPU:er och plattformar, verifierar och konsoliderar dem, och skickar med exportdokumentation från Hongkong eller Fastlandskina. Vilken kanal som vinner beror på om din begränsning är budget, ledtid eller garantitäckning.

Ett genomarbetat exempel på beslutsvägen

En köpare vill finjustera medelstora öppna modeller och servera dem till några tusen användare. Beslutsväg: arbetslasten är blandad träning och inferens; minneskapacitet betyder mer än topp-interconnect, så 4 till 8 PCIe-acceleratorer i H100/A100-klass slår ett SXM-baseboard på kostnad; rekonditionerade A100 80GB-kort med dokumenterat ursprung halverar kiselbudgeten; plattformen är ett 4U-chassi med redundant ström och NVMe-scratch; anläggningskollen bekräftar att racket klarar att mata den. Det är en komplett, försvarbar specifikation, och varje steg i den är ett samtal vi har med köpare varje vecka.

Vanliga frågor

Vad är skillnaden mellan en GPU-server och en vanlig server?

En GPU-server är byggd kring acceleratorernas ström och kylning: nätaggregat med högre wattal, luftflöde utformat för kort eller moduler vid ihållande last, och en PCIe- eller SXM-topologi som kopplar ihop dem. En vanlig server kan ibland ta ett eller två kort; en GPU-server är designad för full bestyckning.

Ska jag köpa eller hyra GPU-beräkningskraft?

Att hyra vinner för ryckigt eller utforskande arbete; att äga vinner när utnyttjandet är ihållande, när datagravitation eller integritet spelar roll, eller när molnets GPU-priser överstiger den avskrivna hårdvarukostnaden för din nyttjandecykel. Många team hyr för prototyper och köper för produktion. En separat guide i serien går igenom aritmetiken.

Är rekonditionerade datacenter-GPU:er pålitliga?

Datacenterkort är konstruerade för kontinuerlig drift, och väl urfasade flottkort med testresultat per kort har lång livslängd. Risken koncentreras till ursprung och testning, inte till kiselkonceptet: köp klassat, testat och dokumenterat lager från en ansvarstagande säljare.

Hur mycket ström behöver en server med 8 GPU:er?

Flaggskepps-SXM-noder med 8 GPU:er drar i storleksordningen 10 kW under last; PCIe-byggen mindre, men ändå långt bortom vanlig kontorsel. Bekräfta anläggningens ström och kylning före beställning, inte efter leverans.

Kan jag uppgradera en server med 4 GPU:er till 8 GPU:er senare?

På PCIe-plattformar bara om chassi, nätaggregat och luftflöde dimensionerades för det från början. SXM-baseboards är fasta konfigurationer. Om tillväxt är trolig, köp den större plattformen med färre kort och fyll på den över tid.