GPU sunucu satın alma rehberi: yapay zeka donanımını seçme, tedarik etme ve devreye alma

GPU sunucusu satın almak, doğru sırayla verilen dört karara indirgenir: GPU sınıfını iş yüküyle eşleştirmek, form faktörünü seçmek (PCIe veya SXM), yeni ile yenilenmiş silikon arasında karar vermek ve GPU'ların talep ettiği güç, soğutma ve bağlantıya sahip bir platform seçmek. Sırayı doğru kurarsanız gerisi tedarik mekaniğidir; tersinden giderseniz (önce platform, en sona iş yükü) ya gereğinden büyük bir makine ya da termal kısıtlamaya giren bir makine satın alırsınız.

Bu, yapay zeka ve GPU altyapısı serimizin ana rehberidir. AXISLINK olarak alıcılar için GPU sistemlerini gerçekte nasıl belirleyip fiyatlandırdığımızı yansıtır ve fiyatlandırma, ihracat kuralları ve belirli model karşılaştırmaları üzerine derinlemesine rehberler yayımlandıkça onlara bağlantı verir.

Bir bakışta

• İş yükü GPU sınıfını belirler; geri kalan her şey onu izler
• SXM modülleri tam ara bağlantı bant genişliği sunar; PCIe kartları hızı esneklikle takas eder
• Yenilenmiş veri merkezi GPU'ları, menşe doğrulanırsa maliyeti ciddi ölçüde düşürebilir
• 8 GPU'lu bir düğüm, yalnızca bir sunucu alımı değil, bir güç ve soğutma projesidir
• Gelişmiş yapay zeka hızlandırıcıları ihracat kontrollerine tabidir: uyumu sipariş vermeden önce planlayın
• Teslim süreleri kanala göre değişir; ikincil pazar, tahsis kuyruklarından daha hızlı hareket eder

GPU ile değil, iş yüküyle başlayın

Piyasa GPU model numaralarıyla konuşur, ancak spesifikasyon makinenin ne yapması gerektiğiyle başlar. Mevcut nesil manzarasına göre kaba eşleştirme şöyle:

İki pratik sonuç var. Birincisi, önceki nesil amiral gemileri gerçekten kullanışlı olmayı sürdürüyor: bir A100 kümesi, ikincil pazarda güncel amiral gemisi fiyatının küçük bir bölümüne, ciddi modelleri hâlâ eğitip servis edebilir. İkincisi, ara bağlantı, depolama veya ağ önce darboğaz hâline gelirse, iş yükünün gerektirdiğinden büyük bir GPU almak hiçbir şeyi geleceğe hazırlamaz.

PCIe mi SXM mi: form faktörü yol ayrımı

Aynı GPU nesli genellikle iki biçimde satılır ve bu seçim tüm sunucuyu şekillendirir.

Fiyatlandırma çalışmalarımızdan gelen dürüst pratik kural: tek düğümlü çıkarım ve karma araştırma makineleri genellikle PCIe kurulumlarıdır; ciddi çoklu GPU eğitim kümeleri SXM kurulumlarıdır ve ödenen prim, spesifikasyon kağıdındaki bir sayıyı değil, gerçek eğitim iş hacmini satın alır.

Yeni mi yenilenmiş mi: ikincil pazarın gerçekte sunduğu

Veri merkezi GPU'ları, hiper ölçekleyiciler ve yapay zeka laboratuvarları filolarını yenilediğinde ikincil pazara girer. Bu arz, önceki nesil hızlandırıcıları yeni amiral gemilerinden çarpıcı biçimde ucuz hâle getirir ve birçok ekibin gerçek kapasiteye erişme yolu budur. İyi bir yenilenmiş alımı kumardan ayıran şeyler:

• Menşe: kartı kim, hangi ortamda çalıştırdı, neden hizmet dışı bırakıldı
• Test: bellek ve termal kontrollerle birlikte parti başına değil, kart başına burn-in sonuçları
• Kullanılmış stok için fotoğraflarla birlikte yazılı olarak beyan edilen durum derecelendirmesi
• Garanti: üretici kapsamı nadiren devredildiğinden, satıcının beyan ettiği bir iade süresi
• Aygıt yazılımı ve lisans durumu: kilitli veya tedarikçiye bağlı kartlar mevcuttur ve açıklanmalıdır

Bu bir menşe işidir. Alıcıların yenilenmiş alımları bir pazaryeri ilanı yerine hesap verebilir bir ticaret muhatabı üzerinden yürütmesinin nedeni, doğrulamanın, derecelendirmenin ve başvuru yolunun asıl ürün olmasıdır; silikon her iki durumda da aynıdır. GPU ve hızlandırıcı stoğumuz tam da bu nedenle durumu ve derecelendirmeyi açıkça listeler.

Platform: GPU'ların etrafındaki sunucu

GPU'lar kendi kendine çalışmaz. Platform kararı, bütçelerin sessizce çöktüğü yerdir.

Kasa ve yoğunluk

Yaygın biçimler: 2 ila 4 PCIe kartı alan 2U sunucular; daha iyi hava akışıyla 4 ila 8 PCIe kartı alan 4U/5U kule ve raf kasaları; ve 8 SXM modülü taşıyan özel üretim 6U-8U HGX platformları (Dell PowerEdge XE9680 sınıfı, HPE Cray sınıfı, Supermicro HGX sistemleri). Kartları sığdıran bir kasa, onları sürekli yük altında soğutan kasa ile aynı şey değildir.

Güç, gizli kısıttır

8 GPU'lu bir amiral gemisi düğümü yük altında 10 kW mertebesinde güç çeker. Bu, birçok ofis sunucu odasının ötesindedir ve bir kolokasyon tesisinde raf bütçesinin kayda değer bir bölümüdür. Sipariş vermeden önce raf güç bütçesini ve PDU kapasitesini, gerçekte üretilen ısı için soğutma kapasitesini ve tesisin tahsis edilen güce göre ücretlendirme yapıp yapmadığını doğrulayın. Sırf tesis güç sınırları yüzünden bir alıcıya bir kereden fazla, tek 8 GPU'lu düğüm yerine iki 4 GPU'lu düğüm için yeniden teklif verdik.

CPU, bellek, depolama, ağ

Nesiller boyunca geçerli denge kuralları: sistem belleği en az toplam GPU belleğine eşit olmalı (eğitim için iki katı rahattır); GPU'ları beslemeye yetecek hızda NVMe scratch depolama; ve çok düğümlü eğitim için hedefe uygun bir fabric (yüksek hızlı Ethernet veya InfiniBand sınıfı), çünkü aç kalan bir ara bağlantı pahalı silikonu boşta bekletir.

İhracat kontrolleri: uyumu sipariş vermeden önce planlayın

Gelişmiş yapay zeka hızlandırıcıları ihracat kontrollerine tabidir; en öne çıkanı, en üst sınıf veri merkezi GPU'larının belirli varış noktalarına sevkiyatını kısıtlayan ABD Bureau of Industry and Security kurallarıdır. Bunun bir alıcı için pratikte anlamı:

• Amiral gemisi hızlandırıcı bulunabilirliği varış pazarına göre değişir; kısıtlı varış noktaları belirli SKU'ları yasal olarak alamaz
• Satıcılar kontrole tabi modellerde son kullanıcı ve son kullanım bilgisi ister; bunu bir sürtünme değil, yasal bir muhatabın işareti olarak görün
• Düzenlemeler değişir; sevkiyatınızı geçen yılın özeti değil, güncel kural seti yönetir

Bunu kendi şartlarımızda açıkça belirtiyoruz: siparişler son kullanıcı bilgisi gerektirebilir ve yasal olarak yerine getirilemeyecek işlemleri reddederiz. Bu serideki özel bir rehber, kuralları denizaşırı alıcılar için daha derinlemesine ele alıyor.

Tedarik kanalları ve teslim süreleri

GPU sistemlerini üç geniş kanal sağlar. OEM tahsisi (Dell, HPE, Supermicro veya Lenovo kanallarından yapılandırılmış bir sistem sipariş etmek) garanti destekli yeni sistemler sunar; talep sıçradığında teslim süreleri uzar. İkincil ve yenilenmiş pazar en hızlı hareket eder ve önceki nesilleri cazip fiyatlandırır; kalite tamamen doğrulamaya bağlıdır. Bizimki gibi ticaret şirketleri her ikisinin üzerinde konumlanır: yeni veya yenilenmiş GPU'ları ve platformları tedarik eder, doğrular ve konsolide eder, ardından Hong Kong'dan veya Çin anakarasından ihracat belgeleriyle sevk eder. Hangi kanalın kazanacağı, kısıtınızın bütçe mi, teslim süresi mi yoksa garanti kapsamı mı olduğuna bağlıdır.

Karar yolunun işlenmiş bir örneği

Bir alıcı, orta boy açık modellere ince ayar yapmak ve bunları birkaç bin kullanıcıya servis etmek istiyor. Karar yolu: iş yükü karma eğitim ve çıkarım; bellek kapasitesi tepe ara bağlantıdan daha önemli, dolayısıyla H100/A100 sınıfında 4 ila 8 PCIe hızlandırıcı, maliyette bir SXM taban kartını geçer; belgeli menşeli yenilenmiş A100 80GB kartlar silikon bütçesini yarıya indirir; platform, yedekli güç ve NVMe scratch içeren bir 4U kasadır; tesis kontrolü rafın bunu besleyebildiğini doğrular. Bu, eksiksiz ve savunulabilir bir spesifikasyondur ve her adımı, alıcılarla her hafta yaptığımız bir konuşmadır.

SSS

GPU sunucusu ile normal sunucu arasındaki fark nedir?

GPU sunucusu, hızlandırıcı gücü ve soğutması etrafında inşa edilir: daha yüksek watt değerli güç kaynakları, sürekli yük altındaki kartlar veya modüller için tasarlanmış hava akışı ve bunları bağlayan PCIe veya SXM topolojisi. Normal bir sunucu bazen bir veya iki kart alabilir; GPU sunucusu tam donanım için tasarlanmıştır.

GPU hesaplama gücünü satın almalı mıyım, kiralamalı mıyım?

Kesintili veya keşif amaçlı işler için kiralama kazanır; kullanım sürekli olduğunda, veri yerçekimi veya gizlilik önemli olduğunda ya da bulut GPU fiyatı sizin çalışma döngünüz için amorti edilmiş donanım maliyetini aştığında sahip olmak kazanır. Birçok ekip prototip için kiralar, üretim için satın alır. Bu serideki ayrı bir rehber hesabı adım adım gösteriyor.

Yenilenmiş veri merkezi GPU'ları güvenilir mi?

Veri merkezi kartları kesintisiz çalışma için tasarlanır ve kart başına test sonuçlarıyla düzgün hizmet dışı bırakılmış filo kartlarının uzun kullanım ömürleri vardır. Risk, silikon kavramında değil, menşe ve testte yoğunlaşır: derecelendirilmiş, test edilmiş, belgelenmiş stoğu hesap verebilir bir satıcıdan alın.

8 GPU'lu bir sunucu ne kadar güç ister?

Amiral gemisi 8 GPU'lu SXM düğümleri yük altında 10 kW mertebesinde güç çeker; PCIe kurulumları daha az çeker ama yine de sıradan ofis tesisatının çok ötesindedir. Tesis gücünü ve soğutmayı teslimattan sonra değil, sipariş vermeden önce doğrulayın.

4 GPU'lu bir sunucuyu sonradan 8 GPU'ya yükseltebilir miyim?

PCIe platformlarında, yalnızca kasa, güç kaynakları ve hava akışı en baştan buna göre boyutlandırıldıysa. SXM taban kartları sabit yapılandırmalardır. Büyüme olasıysa, daha büyük platformu daha az kartla alın ve zaman içinde doldurun.