Koopgids GPU-servers: zo specificeer, betrek en implementeer je AI-hardware

Een GPU-server kopen komt neer op vier beslissingen in de juiste volgorde: de GPU-klasse afstemmen op de workload, de vormfactor kiezen (PCIe of SXM), kiezen tussen nieuw en refurbished silicium, en een platform selecteren met de stroom, koeling en connectiviteit die de GPU's vereisen. Houd je de volgorde aan, dan is de rest inkoopmechaniek; draai je hem om (eerst platform, workload als laatste), dan koop je ofwel te veel machine ofwel een machine die throttlet.

Dit is de hubgids van onze serie over AI- en GPU-infrastructuur. Hij weerspiegelt hoe wij bij AXISLINK daadwerkelijk GPU-systemen specificeren en offreren voor kopers, en hij linkt naar verdiepende gidsen over prijzen, exportregels en specifieke modelvergelijkingen zodra die verschijnen.

In het kort

• De workload bepaalt de GPU-klasse; al het andere volgt daaruit
• SXM-modules leveren volledige interconnect-bandbreedte; PCIe-kaarten ruilen snelheid in voor flexibiliteit
• Refurbished datacenter-GPU's kunnen de kosten fors drukken als de herkomst is geverifieerd
• Een node met 8 GPU's is een stroom- en koelingsproject, niet zomaar een serveraankoop
• Geavanceerde AI-accelerators vallen onder exportcontroles: plan compliance voordat je bestelt
• Levertijden verschillen per kanaal; de tweedehandsmarkt beweegt sneller dan allocatiewachtrijen

Begin bij de workload, niet bij de GPU

De markt praat in GPU-modelnummers, maar specificeren begint bij wat de machine moet doen. Een ruwe mapping zoals die er in het huidige generatielandschap uitziet:

Twee praktische gevolgtrekkingen. Ten eerste blijven topmodellen van de vorige generatie echt bruikbaar: een A100-cluster traint en serveert nog steeds serieuze modellen, voor een fractie van de huidige topprijzen op de tweedehandsmarkt. Ten tweede maakt een grotere GPU kopen dan de workload vraagt niets toekomstbestendig als de interconnect, opslag of het netwerk eerst de bottleneck wordt.

PCIe of SXM: de vormfactorsplitsing

Dezelfde GPU-generatie verschijnt meestal in twee vormen, en die keuze bepaalt de hele server.

De eerlijke vuistregel uit onze offertepraktijk: single-node inference en gemengde researchmachines zijn meestal PCIe-builds; serieuze multi-GPU-trainingsclusters zijn SXM-builds, en de meerprijs koopt echte trainingsdoorvoer in plaats van een getal op de specsheet.

Nieuw of refurbished: wat de tweedehandsmarkt echt biedt

Datacenter-GPU's komen op de tweedehandsmarkt wanneer hyperscalers en AI-labs hun vloten vernieuwen. Dat aanbod maakt accelerators van de vorige generatie drastisch goedkoper dan nieuwe topmodellen, en zo kunnen veel teams zich echte capaciteit veroorloven. Wat een goede refurbished aankoop onderscheidt van een gok:

• Herkomst: wie draaide de kaart, in welke omgeving, en waarom is hij uitgefaseerd
• Testen: burn-in-resultaten per kaart, niet per batch, met geheugen- en thermische controles
• Conditieklassering schriftelijk vastgelegd, met foto's bij gebruikte voorraad
• Garantie: een vastgelegde retourtermijn van de verkoper, want fabrieksgarantie gaat zelden mee over
• Firmware- en licentiestatus: vergrendelde of aan een leverancier gebonden kaarten bestaan en moeten worden gemeld

Dit is een herkomstbusiness. De reden dat kopers refurbished aankopen via een aanspreekbare handelspartij laten lopen in plaats van via een marketplace-advertentie, is dat verificatie, klassering en verhaalsmogelijkheden het eigenlijke product zijn; het silicium is in beide gevallen hetzelfde. Onze voorraad GPU's en accelerators vermeldt conditie en klassering expliciet, precies om die reden.

Het platform: de server rond de GPU's

GPU's draaien niet vanzelf. De platformkeuze is waar budgetten stilletjes sneuvelen.

Chassis en dichtheid

Gangbare vormen: 2U-servers met plaats voor 2 tot 4 PCIe-kaarten; 4U/5U-towers en rackchassis met plaats voor 4 tot 8 PCIe-kaarten en betere luchtstroom; en speciaal gebouwde 6U-8U HGX-platforms met 8 SXM-modules (Dell PowerEdge XE9680-klasse, HPE Cray-klasse, Supermicro HGX-systemen). Een chassis waar de kaarten in passen is niet hetzelfde als een chassis dat ze bij aanhoudende belasting koel houdt.

Stroom is de verborgen beperking

Een topnode met 8 GPU's trekt onder belasting in de orde van 10 kW. Dat gaat de meeste kantoorserverruimtes te boven en is in een colo een flink deel van het rackbudget. Bevestig vóór het bestellen het stroombudget van het rack en de PDU-capaciteit, de koelcapaciteit voor de werkelijk geproduceerde warmte, en of de faciliteit afrekent op gereserveerd vermogen. Meer dan eens hebben we een koper opnieuw geoffreerd van één node met 8 GPU's naar twee nodes met 4 GPU's, puur vanwege de stroomlimieten van de locatie.

CPU, geheugen, opslag, netwerk

Balansregels die over generaties heen gelden: systeemgeheugen minimaal gelijk aan het totale GPU-geheugen (het dubbele is comfortabel voor training); NVMe-scratch snel genoeg om de GPU's gevoed te houden; en voor multi-node training een fabric (high-speed Ethernet of InfiniBand-klasse) die past bij de ambitie, want een uitgehongerde interconnect laat duur silicium stilstaan.

Exportcontroles: plan compliance voordat je bestelt

Geavanceerde AI-accelerators vallen onder exportcontroles, met als bekendste de regels van het Amerikaanse Bureau of Industry and Security die de verzending van datacenter-GPU's uit het topsegment naar bepaalde bestemmingen beperken. Wat dit in de praktijk betekent voor een koper:

• De beschikbaarheid van top-accelerators verschilt per bestemmingsmarkt; beperkte bestemmingen kunnen bepaalde SKU's niet rechtmatig ontvangen
• Verkopers vragen bij gecontroleerde modellen om eindgebruikers- en eindgebruiksinformatie; zie dat als teken van een rechtmatige tegenpartij, niet als frictie
• Regelgeving verandert; de actuele regels bepalen je zending, niet de samenvatting van vorig jaar

We zeggen dit onomwonden in onze eigen voorwaarden: bestellingen kunnen eindgebruikersinformatie vereisen, en we weigeren transacties die niet rechtmatig kunnen worden uitgevoerd. Een aparte gids in deze serie behandelt de regels voor buitenlandse kopers uitgebreider.

Inkoopkanalen en levertijden

Drie brede kanalen leveren GPU-systemen. OEM-allocatie (een geconfigureerd systeem bestellen via de kanalen van Dell, HPE, Supermicro of Lenovo) levert nieuwe systemen met garantie, met levertijden die oplopen als de vraag piekt. De tweedehands- en refurbishedmarkt beweegt het snelst en prijst vorige generaties aantrekkelijk, waarbij de kwaliteit volledig afhangt van verificatie. Handelsbedrijven zoals het onze bestrijken beide: nieuwe of refurbished GPU's en platforms sourcen, verifiëren en consolideren, en verzenden met exportdocumentatie vanuit Hongkong of het Chinese vasteland. Welk kanaal wint hangt ervan af of jouw beperking budget, levertijd of garantiedekking is.

Een uitgewerkt voorbeeld van het beslispad

Een koper wil middelgrote open modellen finetunen en ze aan een paar duizend gebruikers serveren. Beslispad: de workload is gemengd trainen en inference; geheugencapaciteit weegt zwaarder dan piek-interconnect, dus 4 tot 8 PCIe-accelerators in de H100/A100-klasse verslaan een SXM-baseboard op kosten; refurbished A100 80GB-kaarten met gedocumenteerde herkomst halveren het siliciumbudget; het platform is een 4U-chassis met redundante voeding en NVMe-scratch; een locatiecheck bevestigt dat het rack het kan voeden. Dat is een complete, verdedigbare specificatie, en elke stap ervan is een gesprek dat wij wekelijks met kopers voeren.

FAQ

Wat is het verschil tussen een GPU-server en een gewone server?

Een GPU-server is gebouwd rond het vermogen en de koeling van accelerators: voedingen met hoger wattage, luchtstroom ontworpen voor kaarten of modules onder aanhoudende belasting, en een PCIe- of SXM-topologie om ze te verbinden. Een gewone server kan soms een of twee kaarten aan; een GPU-server is ontworpen voor een volledige bezetting.

Moet ik GPU-rekenkracht kopen of huren?

Huren wint bij piekerig of verkennend werk; kopen wint wanneer de bezetting aanhoudend is, datagravitatie of privacy telt, of wanneer cloud-GPU-prijzen de afgeschreven hardwarekosten voor jouw gebruikspatroon overstijgen. Veel teams huren om te prototypen en kopen voor productie. Een aparte gids in deze serie rekent het voor.

Zijn refurbished datacenter-GPU's betrouwbaar?

Datacenterkaarten zijn ontworpen voor continu bedrijf, en netjes uitgefaseerde vlootkaarten met testresultaten per kaart gaan lang mee. Het risico zit in herkomst en testen, niet in het siliciumconcept: koop geklasseerde, geteste, gedocumenteerde voorraad bij een aanspreekbare verkoper.

Hoeveel stroom heeft een server met 8 GPU's nodig?

Top-SXM-nodes met 8 GPU's trekken onder belasting in de orde van 10 kW; PCIe-builds minder, maar nog altijd ver boven gewone kantoorbekabeling. Bevestig stroom en koeling van de locatie vóór het bestellen, niet na levering.

Kan ik een server met 4 GPU's later upgraden naar 8 GPU's?

Op PCIe-platforms alleen als chassis, voedingen en luchtstroom daar vanaf het begin op zijn berekend. SXM-baseboards zijn vaste configuraties. Als groei waarschijnlijk is, koop dan het grotere platform met minder kaarten en vul het gaandeweg.