Panduan membeli server GPU: cara menyusun spesifikasi, memasok, dan menerapkan perangkat keras AI

Membeli server GPU pada dasarnya adalah empat keputusan yang diambil dalam urutan yang benar: mencocokkan kelas GPU dengan beban kerja, memilih form factor (PCIe atau SXM), memutuskan antara silikon baru dan rekondisi, lalu memilih platform dengan daya, pendinginan, dan konektivitas yang dituntut GPU tersebut. Jika urutannya benar, sisanya hanyalah mekanika pengadaan; jika terbalik (platform dulu, beban kerja belakangan), Anda akan membeli mesin yang berlebihan atau mesin yang mengalami throttling.

Ini adalah panduan induk untuk seri infrastruktur AI dan GPU kami. Isinya mencerminkan cara kami benar-benar menyusun spesifikasi dan membuat penawaran sistem GPU untuk pembeli di AXISLINK, dan panduan ini akan menautkan ke pembahasan lebih dalam tentang harga, aturan ekspor, dan perbandingan model tertentu seiring panduan tersebut terbit.

Sekilas pandang

• Beban kerja menentukan kelas GPU; semua hal lain mengikuti
• Modul SXM memberikan bandwidth interkoneksi penuh; kartu PCIe menukar kecepatan dengan fleksibilitas
• GPU pusat data rekondisi dapat memangkas biaya secara tajam jika asal-usulnya terverifikasi
• Node 8-GPU adalah proyek daya dan pendinginan, bukan sekadar pembelian server
• Akselerator AI canggih terkena kontrol ekspor: rencanakan kepatuhan sebelum memesan
• Waktu tunggu berbeda per saluran; pasar sekunder bergerak lebih cepat daripada antrean alokasi

Mulailah dari beban kerja, bukan dari GPU

Pasar berbicara dalam nomor model GPU, tetapi spesifikasi dimulai dari apa yang harus dikerjakan mesin. Pemetaan kasar sesuai lanskap generasi saat ini:

Ada dua konsekuensi praktis. Pertama, flagship generasi sebelumnya tetap benar-benar berguna: klaster A100 masih mampu melatih dan melayani model serius, dengan harga pasar sekunder yang hanya sebagian kecil dari harga flagship saat ini. Kedua, membeli GPU yang lebih besar daripada kebutuhan beban kerja tidak menjamin masa depan apa pun jika interkoneksi, penyimpanan, atau jaringan lebih dulu menjadi bottleneck.

PCIe atau SXM: persimpangan form factor

Generasi GPU yang sama biasanya hadir dalam dua bentuk, dan pilihan ini membentuk keseluruhan server.

Aturan praktis yang jujur dari pekerjaan penawaran kami: mesin inferensi node tunggal dan kotak riset campuran biasanya berbasis PCIe; klaster pelatihan multi-GPU yang serius berbasis SXM, dan premium harganya membeli throughput pelatihan yang nyata, bukan angka di lembar spesifikasi.

Baru atau rekondisi: apa yang benar-benar ditawarkan pasar sekunder

GPU pusat data masuk ke pasar sekunder ketika hyperscaler dan lab AI meremajakan armadanya. Pasokan itu membuat akselerator generasi sebelumnya jauh lebih murah daripada flagship baru, dan itulah cara banyak tim mampu membeli kapasitas nyata. Yang memisahkan pembelian rekondisi yang baik dari sekadar spekulasi:

• Asal-usul: siapa yang memakai kartu itu, di lingkungan seperti apa, dan mengapa dipensiunkan
• Pengujian: hasil burn-in per kartu, bukan per batch, dengan pemeriksaan memori dan termal
• Penilaian kondisi dinyatakan tertulis, dengan foto untuk stok bekas
• Garansi: jendela retur yang dinyatakan penjual, karena garansi pabrikan jarang bisa dialihkan
• Status firmware dan lisensi: kartu yang terkunci atau terikat vendor memang ada dan wajib diungkapkan

Ini adalah bisnis asal-usul. Alasan pembeli menyalurkan pembelian rekondisi melalui mitra dagang yang dapat dimintai pertanggungjawaban alih-alih listing marketplace adalah karena verifikasi, penilaian kondisi, dan jalur penyelesaian itulah produk sesungguhnya; silikonnya sama saja di mana pun. Stok GPU dan akselerator kami mencantumkan kondisi dan grade secara eksplisit justru karena alasan itu.

Platform: server di sekeliling GPU

GPU tidak berjalan sendiri. Keputusan platform adalah titik di mana anggaran diam-diam jebol.

Chassis dan kepadatan

Bentuk yang umum: server 2U menampung 2 sampai 4 kartu PCIe; tower dan chassis rak 4U/5U menampung 4 sampai 8 kartu PCIe dengan aliran udara lebih baik; serta platform HGX 6U-8U yang dibuat khusus membawa 8 modul SXM (kelas Dell PowerEdge XE9680, kelas HPE Cray, sistem HGX Supermicro). Chassis yang muat kartunya tidak sama dengan chassis yang mampu mendinginkannya pada beban berkelanjutan.

Daya adalah kendala tersembunyi

Node flagship 8-GPU menarik daya sekitar 10 kW saat berbeban. Itu melampaui banyak ruang server kantor dan merupakan porsi berarti dari anggaran daya satu rak di fasilitas kolokasi. Sebelum memesan, pastikan anggaran daya rak dan kapasitas PDU, kapasitas pendinginan untuk panas yang benar-benar dihasilkan, dan apakah fasilitas menagih berdasarkan daya yang dialokasikan. Lebih dari sekali kami membuat ulang penawaran pembeli dari satu node 8-GPU menjadi dua node 4-GPU semata-mata karena batas daya fasilitas.

CPU, memori, penyimpanan, jaringan

Aturan keseimbangan yang berlaku lintas generasi: memori sistem minimal setara total memori GPU (dua kalinya lebih lega untuk pelatihan); scratch NVMe yang cukup cepat agar GPU terus terpasok data; dan untuk pelatihan multi-node, fabric (Ethernet kecepatan tinggi atau kelas InfiniBand) yang sepadan dengan ambisinya, karena interkoneksi yang kekurangan pasokan membuat silikon mahal menganggur.

Kontrol ekspor: rencanakan kepatuhan sebelum memesan

Akselerator AI canggih tunduk pada kontrol ekspor, yang paling menonjol adalah aturan Bureau of Industry and Security Amerika Serikat yang membatasi pengiriman GPU pusat data kelas atas ke tujuan tertentu. Artinya bagi pembeli dalam praktik:

• Ketersediaan akselerator flagship berbeda menurut pasar tujuan; tujuan yang dibatasi tidak dapat menerima SKU tertentu secara sah
• Penjual akan meminta informasi pengguna akhir dan penggunaan akhir untuk model yang dikontrol; anggap itu tanda mitra yang taat hukum, bukan hambatan
• Regulasi berubah; yang mengatur pengiriman Anda adalah aturan yang berlaku saat ini, bukan ringkasan tahun lalu

Kami menyatakannya terang-terangan dalam syarat kami sendiri: pesanan dapat memerlukan informasi pengguna akhir, dan kami menolak transaksi yang tidak dapat dipenuhi secara sah. Sebuah panduan khusus dalam seri ini membedah aturan tersebut lebih dalam bagi pembeli luar negeri.

Saluran pengadaan dan waktu tunggu

Ada tiga saluran besar pemasok sistem GPU. Alokasi OEM (memesan sistem terkonfigurasi melalui kanal Dell, HPE, Supermicro, atau Lenovo) memberikan sistem baru bergaransi, dengan waktu tunggu yang memanjang saat permintaan melonjak. Pasar sekunder dan rekondisi bergerak paling cepat dan memberi harga menarik untuk generasi sebelumnya, dengan kualitas yang sepenuhnya bergantung pada verifikasi. Perusahaan dagang seperti kami berdiri di kedua sisi: memasok GPU dan platform baru maupun rekondisi, memverifikasi dan mengonsolidasikannya, lalu mengirimkannya dengan dokumentasi ekspor dari Hong Kong atau Tiongkok daratan. Saluran mana yang menang tergantung apakah kendala Anda adalah anggaran, waktu tunggu, atau cakupan garansi.

Contoh nyata jalur keputusan

Seorang pembeli ingin melakukan fine-tuning model terbuka ukuran menengah dan melayani beberapa ribu pengguna. Jalur keputusannya: beban kerja adalah campuran pelatihan dan inferensi; kapasitas memori lebih penting daripada interkoneksi puncak, sehingga 4 sampai 8 akselerator PCIe kelas H100/A100 mengalahkan baseboard SXM dari sisi biaya; kartu A100 80GB rekondisi dengan asal-usul terdokumentasi memangkas separuh anggaran silikon; platformnya chassis 4U dengan daya redundan dan scratch NVMe; pemeriksaan fasilitas memastikan rak sanggup memasok dayanya. Itu spesifikasi yang lengkap dan dapat dipertanggungjawabkan, dan setiap langkahnya adalah percakapan yang kami lakukan dengan pembeli setiap minggu.

Tanya jawab

Apa perbedaan server GPU dengan server biasa?

Server GPU dibangun di sekitar daya dan pendinginan akselerator: catu daya berwatt lebih tinggi, aliran udara yang dirancang untuk kartu atau modul pada beban berkelanjutan, serta topologi PCIe atau SXM untuk menghubungkannya. Server biasa kadang bisa menampung satu atau dua kartu; server GPU dirancang untuk muatan penuh.

Sebaiknya membeli atau menyewa komputasi GPU?

Menyewa unggul untuk pekerjaan yang meledak sesaat atau eksploratif; memiliki unggul ketika utilisasi berkelanjutan, gravitasi data atau privasi penting, atau harga GPU cloud melampaui biaya perangkat keras teramortisasi untuk siklus kerja Anda. Banyak tim menyewa untuk membuat prototipe dan membeli untuk produksi. Panduan terpisah dalam seri ini menguraikan hitung-hitungannya.

Apakah GPU pusat data rekondisi dapat diandalkan?

Kartu pusat data direkayasa untuk beroperasi terus-menerus, dan kartu bekas armada yang dipensiunkan dengan baik disertai hasil uji per kartu memiliki umur pakai panjang. Risikonya terkonsentrasi pada asal-usul dan pengujian, bukan pada konsep silikonnya: belilah stok yang dinilai, diuji, dan terdokumentasi dari penjual yang dapat dimintai pertanggungjawaban.

Berapa daya yang dibutuhkan server 8-GPU?

Node SXM flagship 8-GPU menarik daya sekitar 10 kW saat berbeban; rakitan PCIe lebih rendah, tetapi tetap jauh melampaui instalasi listrik kantor biasa. Pastikan daya dan pendinginan fasilitas sebelum memesan, bukan setelah barang tiba.

Bisakah server 4-GPU di-upgrade menjadi 8 GPU nanti?

Pada platform PCIe, hanya jika chassis, catu daya, dan aliran udaranya sejak awal diukur untuk itu. Baseboard SXM adalah konfigurasi tetap. Jika pertumbuhan mungkin terjadi, belilah platform yang lebih besar dengan kartu lebih sedikit lalu isi bertahap seiring waktu.