Przewodnik zakupu serwera GPU: jak dobrać, pozyskać i wdrożyć sprzęt AI

Zakup serwera GPU sprowadza się do czterech decyzji podjętych we właściwej kolejności: dopasowania klasy GPU do obciążenia, wyboru formatu (PCIe lub SXM), rozstrzygnięcia między nowym a odnowionym krzemem oraz wyboru platformy o zasilaniu, chłodzeniu i łączności, jakich wymagają GPU. Przy właściwej kolejności reszta to mechanika zakupowa; przy odwrotnej (najpierw platforma, obciążenie na końcu) kupuje się albo maszynę na wyrost, albo taką, która dławi wydajność termicznie.

To przewodnik bazowy naszej serii o infrastrukturze AI i GPU. Odzwierciedla to, jak w AXISLINK naprawdę specyfikujemy i wyceniamy systemy GPU dla kupujących, i będzie linkować do pogłębionych materiałów o cenach, przepisach eksportowych i porównaniach konkretnych modeli w miarę ich publikacji.

W skrócie

• Obciążenie wyznacza klasę GPU; wszystko inne jest pochodną
• Moduły SXM dają pełną przepustowość interkonektu; karty PCIe wymieniają szybkość na elastyczność
• Odnowione GPU serwerowe mogą ostro obniżyć koszty, jeśli pochodzenie jest zweryfikowane
• Węzeł z 8 GPU to projekt zasilania i chłodzenia, a nie zwykły zakup serwera
• Zaawansowane akceleratory AI podlegają kontroli eksportu: zgodność zaplanuj przed zamówieniem
• Terminy dostaw zależą od kanału; rynek wtórny działa szybciej niż kolejki alokacji

Zacznij od obciążenia, nie od GPU

Rynek mówi numerami modeli GPU, ale specyfikacja zaczyna się od tego, co maszyna ma robić. Przybliżone dopasowanie według obecnego krajobrazu generacji:

Dwa praktyczne wnioski. Po pierwsze, flagowce poprzedniej generacji pozostają naprawdę użyteczne: klaster A100 wciąż trenuje i serwuje poważne modele, za ułamek ceny obecnych flagowców na rynku wtórnym. Po drugie, kupno większego GPU, niż wymaga obciążenie, niczego nie zabezpiecza na przyszłość, jeśli wąskim gardłem najpierw stanie się interkonekt, storage albo sieć.

PCIe czy SXM: rozwidlenie formatów

Ta sama generacja GPU zwykle trafia na rynek w dwóch postaciach, a wybór kształtuje cały serwer.

Uczciwa praktyczna reguła z naszej pracy ofertowej: jednowęzłowe maszyny inferencyjne i mieszane stacje badawcze to zwykle konfiguracje PCIe; poważne klastry treningowe multi-GPU to konfiguracje SXM, a dopłata kupuje realną przepustowość treningu, a nie liczbę z karty katalogowej.

Nowe czy odnowione: co naprawdę oferuje rynek wtórny

GPU serwerowe trafiają na rynek wtórny, gdy hiperskalerzy i laboratoria AI wymieniają floty. Ta podaż czyni akceleratory poprzedniej generacji drastycznie tańszymi od nowych flagowców i właśnie tak wiele zespołów stać na realną moc. Co odróżnia dobry zakup odnowionego sprzętu od hazardu:

• Pochodzenie: kto używał karty, w jakim środowisku i dlaczego została wycofana
• Testy: wyniki burn-in dla każdej karty, nie dla partii, z kontrolą pamięci i termiki
• Ocena stanu podana na piśmie, ze zdjęciami dla sprzętu używanego
• Gwarancja: zadeklarowane przez sprzedawcę okno zwrotu, bo ochrona producenta rzadko przechodzi na kolejnego właściciela
• Stan firmware i licencji: karty zablokowane lub związane z jednym dostawcą istnieją i muszą być ujawnione

To biznes oparty na pochodzeniu. Kupujący kierują zakupy odnowionego sprzętu przez odpowiedzialnego partnera handlowego, a nie przez ogłoszenie na marketplace, dlatego że weryfikacja, ocena stanu i możliwość dochodzenia roszczeń są właściwym produktem; krzem jest ten sam w obu przypadkach. Nasz magazyn GPU i akceleratorów właśnie z tego powodu jawnie podaje stan i ocenę każdej pozycji.

Platforma: serwer wokół GPU

GPU nie działają same. Decyzja o platformie to miejsce, w którym budżety pękają po cichu.

Obudowa i gęstość

Typowe formaty: serwery 2U mieszczące 2 do 4 kart PCIe; obudowy tower i rack 4U/5U mieszczące 4 do 8 kart PCIe z lepszym przepływem powietrza; oraz dedykowane platformy HGX 6U-8U niosące 8 modułów SXM (klasa Dell PowerEdge XE9680, klasa HPE Cray, systemy HGX Supermicro). Obudowa, w której karty się mieszczą, to nie to samo co obudowa, która schłodzi je pod ciągłym obciążeniem.

Zasilanie to ukryte ograniczenie

Flagowy węzeł z 8 GPU pobiera pod obciążeniem rzędu 10 kW. To przekracza możliwości wielu biurowych serwerowni i stanowi istotną część budżetu mocy szafy w kolokacji. Przed zamówieniem potwierdź budżet mocy szafy i wydajność PDU, wydajność chłodzenia dla realnie wydzielanego ciepła oraz to, czy obiekt rozlicza się według mocy zarezerwowanej. Nieraz przeliczaliśmy kupującemu ofertę z jednego węzła z 8 GPU na dwa węzły z 4 GPU wyłącznie z powodu limitów mocy obiektu.

CPU, pamięć, storage, sieć

Reguły równowagi aktualne niezależnie od generacji: pamięć systemowa co najmniej równa łącznej pamięci GPU (dwukrotność jest komfortowa dla treningu); przestrzeń scratch NVMe na tyle szybka, by karmić GPU bez przestojów; a przy treningu wielowęzłowym fabric (szybki Ethernet lub klasa InfiniBand) na miarę ambicji, bo wygłodzony interkonekt zostawia drogi krzem bezczynnym.

Kontrola eksportu: zgodność zaplanuj przed zamówieniem

Zaawansowane akceleratory AI podlegają kontroli eksportu, przede wszystkim przepisom amerykańskiego Bureau of Industry and Security ograniczającym wysyłkę najwyższej klasy GPU serwerowych do niektórych miejsc przeznaczenia. Co to oznacza dla kupującego w praktyce:

• Dostępność flagowych akceleratorów różni się w zależności od rynku docelowego; miejsca objęte restrykcjami nie mogą legalnie otrzymać niektórych SKU
• Sprzedawcy poproszą o informacje o użytkowniku końcowym i przeznaczeniu końcowym dla modeli kontrolowanych; traktuj to jako znak praworządnego kontrahenta, a nie utrudnienie
• Przepisy się zmieniają; o twojej wysyłce decyduje bieżący zbiór reguł, a nie zeszłoroczne streszczenie

Mówimy to wprost we własnych warunkach: zamówienia mogą wymagać informacji o użytkowniku końcowym, a transakcje, których nie da się legalnie zrealizować, odrzucamy. Osobny przewodnik w tej serii rozkłada te przepisy na czynniki pierwsze dla kupujących zagranicznych.

Kanały zaopatrzenia i terminy dostaw

Systemy GPU dostarczają trzy szerokie kanały. Alokacja OEM (zamówienie skonfigurowanego systemu w kanałach Dell, HPE, Supermicro lub Lenovo) daje nowe systemy z gwarancją, z terminami, które wydłużają się przy skokach popytu. Rynek wtórny i odnowiony działa najszybciej i atrakcyjnie wycenia poprzednie generacje, a jakość zależy w całości od weryfikacji. Firmy handlowe takie jak nasza działają w obu obszarach: pozyskują nowe lub odnowione GPU i platformy, weryfikują je i konsolidują, a następnie wysyłają z dokumentacją eksportową z Hongkongu lub Chin kontynentalnych. Który kanał wygrywa, zależy od tego, czy twoim ograniczeniem jest budżet, termin dostawy czy zakres gwarancji.

Przykład ścieżki decyzyjnej krok po kroku

Kupujący chce dostroić średniej wielkości modele otwarte i serwować je kilku tysiącom użytkowników. Ścieżka decyzyjna: obciążenie to mieszanka treningu i inferencji; pojemność pamięci znaczy więcej niż szczytowy interkonekt, więc 4 do 8 akceleratorów PCIe klasy H100/A100 wygrywa kosztowo z płytą bazową SXM; odnowione karty A100 80GB z udokumentowanym pochodzeniem zmniejszają budżet na krzem o połowę; platformą jest obudowa 4U z redundantnym zasilaniem i scratch NVMe; sprawdzenie obiektu potwierdza, że szafa to zasili. To kompletna, dająca się obronić specyfikacja, a każdy jej krok to rozmowa, którą prowadzimy z kupującymi co tydzień.

FAQ

Czym serwer GPU różni się od zwykłego serwera?

Serwer GPU jest zbudowany wokół zasilania i chłodzenia akceleratorów: zasilacze o wyższej mocy, przepływ powietrza zaprojektowany dla kart lub modułów pod ciągłym obciążeniem oraz topologia PCIe lub SXM do ich połączenia. Zwykły serwer czasem przyjmie jedną lub dwie karty; serwer GPU jest projektowany na pełną obsadę.

Kupić czy wynająć moc obliczeniową GPU?

Wynajem wygrywa przy pracy zrywami lub eksploracyjnej; posiadanie wygrywa, gdy wykorzystanie jest ciągłe, gdy liczy się grawitacja danych lub prywatność, albo gdy ceny GPU w chmurze przekraczają zamortyzowany koszt sprzętu przy twoim cyklu pracy. Wiele zespołów wynajmuje do prototypowania, a kupuje do produkcji. Osobny przewodnik w tej serii przeprowadza przez te rachunki.

Czy odnowione GPU serwerowe są niezawodne?

Karty do centrów danych są projektowane do pracy ciągłej, a porządnie wycofane karty z flot, z wynikami testów dla każdej sztuki, mają długi okres użyteczności. Ryzyko koncentruje się w pochodzeniu i testach, nie w samej idei krzemu: kupuj sprzęt oceniony, przetestowany i udokumentowany od odpowiedzialnego sprzedawcy.

Ile mocy potrzebuje serwer z 8 GPU?

Flagowe węzły SXM z 8 GPU pobierają pod obciążeniem rzędu 10 kW; konfiguracje PCIe mniej, ale wciąż daleko ponad zwykłą instalację biurową. Potwierdź zasilanie i chłodzenie obiektu przed zamówieniem, a nie po dostawie.

Czy mogę później rozbudować serwer z 4 GPU do 8 GPU?

Na platformach PCIe tylko wtedy, gdy obudowa, zasilacze i przepływ powietrza były od początku zwymiarowane pod taki cel. Płyty bazowe SXM to konfiguracje stałe. Jeśli wzrost jest prawdopodobny, kup większą platformę z mniejszą liczbą kart i zapełniaj ją z czasem.