GPU-Server-Kaufratgeber: KI-Hardware spezifizieren, beschaffen und in Betrieb nehmen

Der Kauf eines GPU-Servers läuft auf vier Entscheidungen in der richtigen Reihenfolge hinaus: die GPU-Klasse auf den Workload abstimmen, den Formfaktor wählen (PCIe oder SXM), zwischen neuem und refurbished Silizium entscheiden und eine Plattform wählen, deren Stromversorgung, Kühlung und Konnektivität den Anforderungen der GPUs gewachsen sind. Stimmt die Reihenfolge, ist der Rest Beschaffungsroutine; wird sie umgedreht (Plattform zuerst, Workload zuletzt), kauft man entweder zu viel Maschine oder eine, die drosselt.

Dies ist der zentrale Leitfaden unserer Serie zu KI- und GPU-Infrastruktur. Er spiegelt wider, wie wir bei AXISLINK GPU-Systeme für Käufer tatsächlich spezifizieren und anbieten, und er verlinkt auf vertiefende Beiträge zu Preisen, Exportregeln und konkreten Modellvergleichen, sobald diese erscheinen.

Auf einen Blick

• Der Workload bestimmt die GPU-Klasse; alles andere folgt daraus
• SXM-Module liefern die volle Interconnect-Bandbreite; PCIe-Karten tauschen Geschwindigkeit gegen Flexibilität
• Refurbished Rechenzentrums-GPUs können die Kosten deutlich senken, wenn die Herkunft verifiziert ist
• Ein Knoten mit 8 GPUs ist ein Strom- und Kühlungsprojekt, nicht bloß ein Serverkauf
• Fortgeschrittene KI-Beschleuniger unterliegen Exportkontrollen: Compliance vor der Bestellung planen
• Lieferzeiten variieren je nach Kanal; der Zweitmarkt bewegt sich schneller als Allokationswarteschlangen

Beginnen Sie beim Workload, nicht bei der GPU

Der Markt spricht in GPU-Modellnummern, doch die Spezifikation beginnt bei dem, was die Maschine leisten muss. Grobe Zuordnung, wie sie sich in der aktuellen Generationslandschaft darstellt:

Zwei praktische Folgerungen. Erstens bleiben die Flaggschiffe der Vorgeneration wirklich nützlich: Ein A100-Cluster trainiert und bedient nach wie vor ernsthafte Modelle, zu einem Bruchteil der aktuellen Flaggschiffpreise auf dem Zweitmarkt. Zweitens macht eine größere GPU, als der Workload braucht, nichts zukunftssicher, wenn Interconnect, Storage oder Netzwerk zuerst zum Engpass werden.

PCIe oder SXM: die Weggabelung beim Formfaktor

Dieselbe GPU-Generation kommt üblicherweise in zwei Bauformen auf den Markt, und diese Wahl prägt den gesamten Server.

Die ehrliche Faustregel aus unserer Angebotspraxis: Einzelknoten-Inferenz und gemischte Forschungsmaschinen sind meist PCIe-Konfigurationen; ernsthafte Multi-GPU-Trainingscluster sind SXM-Konfigurationen, und der Aufpreis kauft echten Trainingsdurchsatz statt einer Zahl im Datenblatt.

Neu oder refurbished: was der Zweitmarkt wirklich bietet

Rechenzentrums-GPUs gelangen auf den Zweitmarkt, wenn Hyperscaler und KI-Labore ihre Flotten erneuern. Dieses Angebot macht Beschleuniger der Vorgeneration dramatisch günstiger als neue Flaggschiffe, und genau so finanzieren viele Teams echte Kapazität. Was einen guten Refurbished-Kauf von einem Glücksspiel trennt:

• Herkunft: Wer hat die Karte betrieben, in welcher Umgebung, und warum wurde sie ausgemustert
• Tests: Burn-in-Ergebnisse pro Karte statt pro Charge, mit Speicher- und Thermikprüfungen
• Schriftlich ausgewiesene Zustandseinstufung, mit Fotos bei Gebrauchtware
• Garantie: ein vom Verkäufer zugesagtes Rückgabefenster, da Herstellergarantien selten übertragbar sind
• Firmware- und Lizenzstatus: gesperrte oder herstellergebundene Karten existieren und müssen offengelegt werden

Dies ist ein Herkunftsgeschäft. Käufer wickeln Refurbished-Käufe über einen haftbaren Handelspartner statt über ein Marktplatzinserat ab, weil Verifizierung, Einstufung und Regressmöglichkeit das eigentliche Produkt sind; das Silizium ist in beiden Fällen dasselbe. Unser GPU- und Beschleuniger-Bestand weist Zustand und Einstufung genau aus diesem Grund explizit aus.

Die Plattform: der Server um die GPUs herum

GPUs laufen nicht von allein. Die Plattformentscheidung ist der Punkt, an dem Budgets leise brechen.

Gehäuse und Dichte

Gängige Bauformen: 2U-Server für 2 bis 4 PCIe-Karten; 4U/5U-Tower und Rackgehäuse für 4 bis 8 PCIe-Karten mit besserem Luftstrom; und speziell gebaute 6U-8U-HGX-Plattformen mit 8 SXM-Modulen (Dell PowerEdge XE9680-Klasse, HPE Cray-Klasse, Supermicro HGX-Systeme). Ein Gehäuse, in das die Karten passen, ist nicht dasselbe wie ein Gehäuse, das sie unter Dauerlast kühlt.

Strom ist die versteckte Engstelle

Ein Flaggschiff-Knoten mit 8 GPUs zieht unter Last in der Größenordnung von 10 kW. Das übersteigt viele Büro-Serverräume und ist im Colocation-Rechenzentrum ein erheblicher Teil des Rack-Budgets. Klären Sie vor der Bestellung das Strombudget des Racks und die PDU-Kapazität, die Kühlleistung für die tatsächlich erzeugte Wärme und ob die Einrichtung nach bereitgestellter Leistung abrechnet. Mehr als einmal haben wir einem Käufer allein wegen der Stromgrenzen der Einrichtung statt eines Knotens mit 8 GPUs zwei Knoten mit 4 GPUs angeboten.

CPU, Arbeitsspeicher, Storage, Netzwerk

Ausgewogenheitsregeln, die über Generationen hinweg gelten: Systemspeicher mindestens auf Höhe des gesamten GPU-Speichers (das Doppelte ist beim Training komfortabel); NVMe-Scratch schnell genug, um die GPUs durchgehend zu versorgen; und beim Training über mehrere Knoten eine Fabric (Hochgeschwindigkeits-Ethernet oder InfiniBand-Klasse), die dem Anspruch entspricht, denn ein ausgehungerter Interconnect lässt teures Silizium brachliegen.

Exportkontrollen: Compliance vor der Bestellung planen

Fortgeschrittene KI-Beschleuniger unterliegen Exportkontrollen, allen voran den Regeln des US Bureau of Industry and Security, die den Versand von Top-Rechenzentrums-GPUs in bestimmte Zielländer beschränken. Was das für Käufer in der Praxis bedeutet:

• Die Verfügbarkeit von Flaggschiff-Beschleunigern unterscheidet sich je nach Zielmarkt; beschränkte Ziele können bestimmte SKUs nicht legal erhalten
• Verkäufer fragen bei kontrollierten Modellen nach Endnutzer- und Endverwendungsangaben; werten Sie das als Zeichen eines rechtstreuen Handelspartners, nicht als Reibung
• Vorschriften ändern sich; maßgeblich für Ihre Sendung ist das aktuelle Regelwerk, nicht die Zusammenfassung vom letzten Jahr

Wir sagen das in unseren eigenen Bedingungen unmissverständlich: Bestellungen können Endnutzerangaben erfordern, und Geschäfte, die sich nicht legal erfüllen lassen, lehnen wir ab. Ein eigener Leitfaden dieser Serie schlüsselt die Regeln für Käufer im Ausland genauer auf.

Beschaffungskanäle und Lieferzeiten

Drei große Kanäle liefern GPU-Systeme. Die OEM-Allokation (ein konfiguriertes System über die Kanäle von Dell, HPE, Supermicro oder Lenovo bestellen) liefert neue Systeme mit Garantie, deren Lieferzeiten sich bei Nachfragespitzen dehnen. Der Zweit- und Refurbished-Markt bewegt sich am schnellsten und bepreist Vorgenerationen attraktiv, wobei die Qualität vollständig an der Verifizierung hängt. Handelsunternehmen wie unseres sitzen über beiden: Wir beschaffen neue oder refurbished GPUs und Plattformen, verifizieren und konsolidieren sie und versenden mit Exportdokumentation aus Hongkong oder Festlandchina. Welcher Kanal gewinnt, hängt davon ab, ob Ihre Engstelle Budget, Lieferzeit oder Garantieabdeckung ist.

Ein durchgerechnetes Beispiel für den Entscheidungspfad

Ein Käufer möchte mittelgroße offene Modelle feinabstimmen und sie einigen Tausend Nutzern bereitstellen. Entscheidungspfad: Der Workload mischt Training und Inferenz; Speicherkapazität zählt mehr als Spitzen-Interconnect, also schlagen 4 bis 8 PCIe-Beschleuniger der H100/A100-Klasse ein SXM-Baseboard bei den Kosten; refurbished A100 80GB-Karten mit dokumentierter Herkunft halbieren das Siliziumbudget; die Plattform ist ein 4U-Gehäuse mit redundanter Stromversorgung und NVMe-Scratch; die Standortprüfung bestätigt, dass das Rack die Leistung liefern kann. Das ist eine vollständige, belastbare Spezifikation, und jeder ihrer Schritte ist ein Gespräch, das wir Woche für Woche mit Käufern führen.

FAQ

Was unterscheidet einen GPU-Server von einem normalen Server?

Ein GPU-Server ist um die Strom- und Kühlanforderungen der Beschleuniger herum gebaut: leistungsstärkere Netzteile, ein Luftstrom, der für Karten oder Module unter Dauerlast ausgelegt ist, und eine PCIe- oder SXM-Topologie, die sie verbindet. Ein normaler Server nimmt mitunter ein oder zwei Karten auf; ein GPU-Server ist für die Vollbestückung konzipiert.

Sollte ich GPU-Rechenleistung kaufen oder mieten?

Mieten gewinnt bei stoßweiser oder explorativer Arbeit; Kaufen gewinnt, wenn die Auslastung dauerhaft hoch ist, Datengravitation oder Datenschutz zählen oder der Cloud-GPU-Preis die amortisierten Hardwarekosten für Ihr Nutzungsprofil übersteigt. Viele Teams mieten für Prototypen und kaufen für die Produktion. Ein separater Leitfaden dieser Serie rechnet das durch.

Sind refurbished Rechenzentrums-GPUs zuverlässig?

Rechenzentrumskarten sind für den Dauerbetrieb konstruiert, und sauber ausgemusterte Flottenkarten mit Testergebnissen pro Karte haben eine lange Nutzungsdauer. Das Risiko konzentriert sich auf Herkunft und Tests, nicht auf das Silizium als solches: Kaufen Sie eingestufte, getestete, dokumentierte Ware von einem haftbaren Verkäufer.

Wie viel Strom braucht ein Server mit 8 GPUs?

Flaggschiff-SXM-Knoten mit 8 GPUs ziehen unter Last in der Größenordnung von 10 kW; PCIe-Konfigurationen weniger, aber immer noch weit jenseits gewöhnlicher Büroverkabelung. Klären Sie Strom und Kühlung der Einrichtung vor der Bestellung, nicht nach der Lieferung.

Kann ich einen Server mit 4 GPUs später auf 8 GPUs aufrüsten?

Auf PCIe-Plattformen nur, wenn Gehäuse, Netzteile und Luftstrom von Anfang an dafür dimensioniert wurden. SXM-Baseboards sind feste Konfigurationen. Ist Wachstum wahrscheinlich, kaufen Sie die größere Plattform mit weniger Karten und bestücken sie nach und nach.