Gabay sa pagbili ng GPU server: paano mag-spec, mag-source at mag-deploy ng AI hardware
Pagbili ng AI at GPU infrastructure · Na-publish 2026-07-25
Ang pagbili ng GPU server ay bumababa sa apat na desisyong ginagawa sa tamang pagkakasunod-sunod: itugma ang klase ng GPU sa workload, piliin ang form factor (PCIe o SXM), magpasya sa pagitan ng bago at refurbished na silicon, at pumili ng platform na may kuryente, cooling at connectivity na kayang tugunan ang hinihingi ng mga GPU. Kapag tama ang pagkakasunod-sunod, ang natitira ay simpleng mekanika na ng procurement; kapag baligtad (platform muna, workload sa huli), bibili ka ng sobra-sobrang makina o ng makinang bumabagal dahil sa throttling.
Ito ang hub guide ng aming serye tungkol sa AI at GPU infrastructure. Sinasalamin nito kung paano talaga kami nag-i-spec at nagko-quote ng mga GPU system para sa mga buyer sa AXISLINK, at maglilink ito sa mas malalalim na gabay tungkol sa presyo, mga panuntunan sa export at paghahambing ng mga partikular na modelo habang nailalathala ang mga iyon.
Sa isang tingin
- Ang workload ang nagtatakda ng klase ng GPU; sumusunod na lang ang lahat ng iba pa
- Buong interconnect bandwidth ang hatid ng mga SXM module; ipinagpapalit ng mga PCIe card ang bilis para sa flexibility
- Malaki ang maititipid sa mga refurbished na datacenter GPU kung beripikado ang provenance
- Ang 8 GPU na node ay isang proyekto sa kuryente at cooling, hindi lang basta pagbili ng server
- Sakop ng export controls ang mga advanced na AI accelerator: planuhin ang compliance bago mag-order
- Iba-iba ang lead time bawat channel; mas mabilis gumalaw ang secondary market kaysa sa mga pila ng allocation
Magsimula sa workload, hindi sa GPU
Nagsasalita ang merkado sa mga model number ng GPU, pero nagsisimula ang pag-i-spec sa kung ano ang dapat gawin ng makina. Narito ang magaspang na pagtutugma sa kasalukuyang henerasyon:
| Workload | Ano ang pinakamahalaga | Karaniwang klase ng GPU |
|---|---|---|
| LLM training at fine-tuning | Kapasidad ng memory, interconnect bandwidth, multi-GPU scaling | Mga flagship na datacenter accelerator (H100/H200 class, SXM) |
| LLM inference sa malawakang saklaw | Kapasidad ng memory kada dolyar, throughput | H100/A100 class o mga inference card na malaki ang memory (L40S class) |
| Diffusion, rendering, media | Purong compute, VRAM, driver ecosystem | L40S class o mga workstation card (RTX 6000 family) |
| Klasikong ML, analytics, CV | Gastos kada GPU, pagiging simple ng iisang node | Mga datacenter card ng nakaraang henerasyon (A100, maging V100 class) |
| VDI at mga virtual workstation | Modelo ng lisensya, densidad kada card | Mga GPU na ginawa para sa virtualization |
Dalawang praktikal na konklusyon. Una, tunay pa ring kapaki-pakinabang ang mga flagship ng nakaraang henerasyon: kaya pa ring mag-train at mag-serve ng seryosong mga model ang isang A100 cluster, sa maliit na bahagi lang ng presyo ng kasalukuyang flagship sa secondary market. Pangalawa, ang pagbili ng GPU na mas malaki kaysa sa kailangan ng workload ay hindi paghahanda sa hinaharap kung ang interconnect, storage o network ang unang magiging bottleneck.
PCIe o SXM: ang sangang-daan ng form factor
Ang parehong henerasyon ng GPU ay karaniwang lumalabas sa dalawang anyo, at ang pagpiling ito ang humuhubog sa buong server.
| Mga PCIe card | Mga SXM module | |
|---|---|---|
| Pag-install | Standard na slot sa maraming modelo ng server | Nakasolder sa dedikadong baseboard (HGX class) |
| Bandwidth ng GPU sa GPU | Limitado; may bridge connector sa ilang pares | Full-mesh na interconnect na mataas ang bandwidth |
| Kuryente at cooling | Mas mababa ang konsumo kada card, kayang i-air-cool sa 2U | Pinakamataas ang konsumo; nangangailangan ng dedikadong chassis |
| Flexibility | Puwedeng magdagdag o maglipat ng card sa pagitan ng mga system | Nakapirming configuration na 4 GPU o 8 GPU |
| Pinakaangkop sa | Inference, halo-halong workload, unti-unting pag-scale | Multi-GPU training kung saan sulit ang scaling efficiency |
Ang tapat na rule of thumb mula sa aming trabaho sa pag-quote: ang mga single-node inference machine at halo-halong research machine ay kadalasang PCIe build; ang mga seryosong multi-GPU training cluster ay SXM build, at ang premium ay pambili ng totoong training throughput, hindi ng numero sa spec sheet.
Bago o refurbished: ano talaga ang alok ng secondary market
Pumapasok sa secondary market ang mga datacenter GPU kapag nagre-refresh ng fleet ang mga hyperscaler at AI lab. Dahil sa suplay na iyon, dramatikong mas mura ang mga accelerator ng nakaraang henerasyon kaysa sa mga bagong flagship, at ganito nakakabili ng totoong kapasidad ang maraming team. Ang naghihiwalay sa magandang refurbished na bili at sa sugal:
- Provenance: sino ang nagpatakbo ng card, sa anong kapaligiran, at bakit ito inalis sa serbisyo
- Testing: resulta ng burn-in kada card, hindi kada batch, na may kasamang pagsusuri sa memory at thermal
- Condition grading na nakasaad sa sulat, na may mga litrato para sa used na stock
- Warranty: malinaw na return window mula sa seller, dahil bihirang lumipat ang coverage ng manufacturer
- Estado ng firmware at licensing: may mga card na naka-lock o nakatali sa vendor, at kailangang ihayag ang mga ito
Negosyo ito ng provenance. Kaya idinadaan ng mga buyer ang refurbished na bili sa isang mananagot na trading counterparty sa halip na sa isang listing sa marketplace ay dahil ang beripikasyon, grading at remedyo ang tunay na produkto; pareho lang naman ang silicon sa dalawang panig. Ang aming stock ng GPU at accelerator ay tahasang naglilista ng kondisyon at grading dahil mismo sa kadahilanang iyon.
Ang platform: ang server sa paligid ng mga GPU
Hindi tumatakbo nang mag-isa ang mga GPU. Ang desisyon sa platform ang lugar kung saan tahimik na nabibigo ang mga budget.
Chassis at densidad
Mga karaniwang anyo: mga 2U server na kayang magkasya ng 2 hanggang 4 na PCIe card; mga 4U/5U tower at rack chassis na may mas maayos na airflow para sa 4 hanggang 8 PCIe card; at mga purpose-built na 6U-8U HGX platform na may dalang 8 SXM module (Dell PowerEdge XE9680 class, HPE Cray class, mga Supermicro HGX system). Ang chassis na kasya ang mga card ay hindi pareho ng chassis na kayang palamigin ang mga ito sa tuloy-tuloy na load.
Kuryente ang nakatagong hadlang
Ang isang flagship na node na may 8 GPU ay kumokonsumo ng nasa 10 kW kapag naka-load. Lampas iyan sa kaya ng maraming server room sa opisina at malaking bahagi ng power budget ng isang rack sa colocation. Bago mag-order, kumpirmahin ang power budget ng rack at kapasidad ng PDU, ang kapasidad ng cooling para sa init na talagang nalilikha, at kung naniningil ang pasilidad batay sa provisioned na kuryente. Higit sa isang beses naming ni-requote ang isang buyer mula sa isang node na may 8 GPU patungo sa dalawang node na tig-4 GPU dahil lang sa limitasyon ng kuryente ng pasilidad.
CPU, memory, storage, network
Mga panuntunan ng balanse na totoo sa iba't ibang henerasyon: system memory na kahit man lang katumbas ng kabuuang GPU memory (mas maluwag kung doble para sa training); NVMe scratch na sapat ang bilis para patuloy na mapakain ang mga GPU; at para sa multi-node training, isang fabric (high-speed Ethernet o InfiniBand class) na akma sa ambisyon, dahil ang gutom na interconnect ay nagpapatambay sa mamahaling silicon.
Export controls: planuhin ang compliance bago mag-order
Sakop ng export controls ang mga advanced na AI accelerator, pinakaprominente ang mga panuntunan ng US Bureau of Industry and Security na naglilimita sa pagpapadala ng mga top-tier na datacenter GPU sa ilang destinasyon. Ang ibig sabihin nito para sa isang buyer sa praktika:
- Iba-iba ang availability ng mga flagship accelerator ayon sa destinasyong merkado; hindi legal na makakatanggap ng ilang SKU ang mga restricted na destinasyon
- Hihingi ang mga seller ng impormasyon tungkol sa end-user at end-use para sa mga kontroladong modelo; ituring itong tanda ng isang lehitimong counterparty, hindi abala
- Nagbabago ang mga regulasyon; ang kasalukuyang hanay ng mga panuntunan, hindi ang buod noong nakaraang taon, ang namamahala sa iyong shipment
Malinaw naming sinasabi ito sa sarili naming mga tuntunin: maaaring mangailangan ang mga order ng impormasyon tungkol sa end-user, at tumatanggi kami sa mga transaksyong hindi maisasagawa nang legal. May nakalaang gabay sa seryeng ito na mas malalim na maglalahad ng mga panuntunan para sa mga buyer sa ibayong dagat.
Mga sourcing channel at lead time
Tatlong malawak na channel ang nagsusuplay ng mga GPU system. Ang OEM allocation (pag-order ng configured na system mula sa mga channel ng Dell, HPE, Supermicro o Lenovo) ay naghahatid ng mga bagong system na may warranty, na humahaba ang lead time kapag sumirit ang demand. Ang secondary at refurbished na market ang pinakamabilis gumalaw at kaakit-akit ang presyo ng mga nakaraang henerasyon, pero ang kalidad ay nakasalalay nang buo sa beripikasyon. Ang mga trading company na tulad namin ay nakaupo sa dalawang panig: nagso-source ng bago o refurbished na mga GPU at platform, bineberipika at kino-consolidate ang mga ito, at nagpapadala nang may export documentation mula sa Hong Kong o mainland China. Kung aling channel ang panalo ay nakadepende sa kung ang hadlang mo ay budget, lead time o saklaw ng warranty.
Isang malinaw na halimbawa ng landas ng desisyon
May buyer na gustong mag-fine-tune ng mga mid-size na open model at i-serve ang mga ito sa ilang libong user. Landas ng desisyon: halo ang workload na training at inference; mas mahalaga ang kapasidad ng memory kaysa sa peak interconnect, kaya ang 4 hanggang 8 PCIe accelerator sa H100/A100 class ay panalo sa gastos laban sa isang SXM baseboard; ang mga refurbished na A100 80GB card na may dokumentadong provenance ay humahati sa silicon budget sa kalahati; ang platform ay isang 4U chassis na may redundant na power at NVMe scratch; kinumpirma ng pagsusuri sa pasilidad na kayang pakainin ito ng rack. Iyan ay kumpleto at madedepensahang spec, at bawat hakbang niyan ay usapang ginagawa namin sa mga buyer linggo-linggo.
Mga madalas itanong
Ano ang pagkakaiba ng GPU server sa karaniwang server?
Ang GPU server ay binuo sa paligid ng kuryente at cooling ng mga accelerator: mas malakas na power supply, airflow na dinisenyo para sa mga card o module na nasa tuloy-tuloy na load, at PCIe o SXM na topology para pagdugtungin ang mga ito. Minsan kayang tumanggap ng isa o dalawang card ang karaniwang server; ang GPU server ay dinisenyo para sa punong bilang.
Dapat ba akong bumili o umupa ng GPU compute?
Panalo ang pag-upa para sa paputok-putok o exploratory na trabaho; panalo ang pagmamay-ari kapag tuloy-tuloy ang utilization, mahalaga ang data gravity o privacy, o lampas na ang presyo ng cloud GPU sa amortized na gastos ng hardware para sa iyong duty cycle. Maraming team ang umuupa para mag-prototype at bumibili para sa production. May hiwalay na gabay sa seryeng ito na tumatalakay sa kalkulasyong iyon.
Maaasahan ba ang mga refurbished na datacenter GPU?
Ang mga datacenter card ay in-engineer para sa tuloy-tuloy na operasyon, at ang mga fleet card na maayos ang pag-alis sa serbisyo at may resulta ng test kada card ay mahaba ang silbi. Nakakonsentra ang panganib sa provenance at testing, hindi sa konsepto ng silicon: bumili ng graded, tested at dokumentadong stock mula sa isang mananagot na seller.
Gaano kalaking kuryente ang kailangan ng 8 GPU na server?
Ang mga flagship na 8 GPU SXM node ay kumokonsumo ng nasa 10 kW kapag naka-load; mas mababa ang mga PCIe build, pero lampas pa rin nang malayo sa ordinaryong wiring ng opisina. Kumpirmahin ang kuryente at cooling ng pasilidad bago mag-order, hindi pagkatapos ng delivery.
Maaari ko bang i-upgrade ang 4 GPU na server para maging 8 GPU sa hinaharap?
Sa mga PCIe platform, magagawa lang ito kung ang chassis, power supply at airflow ay sinukat para doon mula pa sa simula. Ang mga SXM baseboard ay nakapirming configuration. Kung malamang ang paglago, bilhin ang mas malaking platform na may mas kaunting card at punuin ito paglipas ng panahon.
Bumibili ng hardware na ito?
Ang AXISLINK ay nagsusuplay sa mga business buyer sa buong mundo mula sa Hong Kong at mainland China, kasama ang export documentation at pagsasaayos ng freight. Ipadala ang inyong mga kinakailangan at makatanggap ng pormal na quotation, karaniwan sa loob ng 24 na oras.
Humiling ng quotation