GPUサーバー購入ガイド：AIハードウェアの選定、調達、導入の進め方

GPUサーバーの購入は、正しい順序で下す四つの判断に行き着きます。ワークロードに合わせてGPUクラスを選び、フォームファクター（PCIeかSXMか）を決め、新品と整備済みシリコンのどちらにするかを判断し、GPUが要求する電力、冷却、接続性を備えたプラットフォームを選ぶことです。順序が正しければ、残りは調達の実務にすぎません。順序が逆（プラットフォームが先、ワークロードが最後）になると、過剰なマシンか、サーマルスロットリングを起こすマシンのどちらかを買うことになります。

本稿は、当社のAIおよびGPUインフラシリーズのハブとなるガイドです。AXISLINKで買い手向けにGPUシステムを実際に選定し見積もる際の進め方を反映しており、価格、輸出規則、特定モデルの比較といった各論のガイドが公開され次第、そちらへのリンクを追加していきます。

要点

• ワークロードがGPUクラスを決め、それ以外はすべてそこから決まる
• SXMモジュールはフルのインターコネクト帯域を提供し、PCIeカードは速度と引き換えに柔軟性を得る
• 整備済みデータセンターGPUは、来歴が検証済みならコストを大きく下げられる
• 8 GPUノードは電力と冷却のプロジェクトであり、単なるサーバー購入ではない
• 先端AIアクセラレータは輸出規制の対象。発注前にコンプライアンスを計画する
• リードタイムはチャネルによって異なり、二次流通市場は割り当て待ちの列より速く動く

GPUではなくワークロードから始める

市場はGPUの型番で語りますが、仕様策定はそのマシンが何をしなければならないかから始まります。現行世代の状況を踏まえた大まかな対応は次のとおりです。

実務上の帰結は二つあります。第一に、前世代のフラッグシップは今も本当に有用です。A100クラスタは今でも本格的なモデルの学習と提供をこなし、二次流通市場では現行フラッグシップの何分の一かの価格で手に入ります。第二に、インターコネクト、ストレージ、ネットワークが先にボトルネックになるなら、ワークロードに必要な以上の大きなGPUを買っても将来への備えにはなりません。

PCIeかSXMか：フォームファクターの分かれ道

同じ世代のGPUは通常二つの形態で出荷され、この選択がサーバー全体を方向づけます。

見積もりの現場から言える正直な経験則はこうです。単一ノードの推論機や混在用途の研究機はたいていPCIe構成になり、本格的なマルチGPU学習クラスタはSXM構成になります。その価格差で買っているのは、スペックシート上の数字ではなく実際の学習スループットです。

新品か整備済みか：二次流通市場が実際に提供するもの

データセンターGPUは、ハイパースケーラーやAIラボが機材を更新するときに二次流通市場へ流れます。この供給のおかげで前世代のアクセラレータは新品フラッグシップより劇的に安くなり、多くのチームが現実的な規模の計算能力を手にできています。良い整備済み品の購入と賭けを分けるのは次の点です。

• 来歴：誰がどのような環境でそのカードを運用し、なぜ退役させたのか
• テスト：ロット単位ではなくカード単位のバーンイン結果と、メモリおよび温度の検査
• 書面で明示されたコンディションのグレードと、中古在庫の実物写真
• 保証：メーカー保証はほとんど移転しないため、販売者自身が明示する返品受付期間
• ファームウェアとライセンスの状態：ロック品やベンダー紐付き品は実在し、開示されなければならない

これは来歴がすべての商売です。買い手が整備済み品の購入をマーケットプレイスの出品ではなく、責任を負える貿易取引相手を通じて行うのは、検証、グレーディング、救済手段こそが本当の商品だからです。シリコン自体はどちらでも同じです。当社のGPUおよびアクセラレータ在庫がコンディションとグレードを明示しているのは、まさにその理由からです。

プラットフォーム：GPUを取り巻くサーバー

GPUは単体では動きません。予算が静かに崩れるのは、プラットフォームの決定においてです。

シャーシと集約密度

一般的な形態は次のとおりです。PCIeカードを2枚から4枚搭載する2Uサーバー。エアフローに優れ、4枚から8枚のPCIeカードを搭載する4U/5Uのタワーおよびラックシャーシ。そして8基のSXMモジュールを搭載する専用設計の6U-8U HGXプラットフォーム（Dell PowerEdge XE9680クラス、HPE Crayクラス、SupermicroのHGXシステム）。カードが物理的に収まるシャーシと、持続負荷でカードを冷やし切れるシャーシは別物です。

電力という隠れた制約

フラッグシップ級の8 GPUノードは、負荷時におよそ10 kWを消費します。これは多くのオフィスのサーバールームの能力を超え、コロケーションではラックの電力予算のかなりの割合を占めます。発注前に、ラックの電力予算とPDUの容量、実際に発生する熱に見合う冷却能力、そして施設が契約電力単位で課金するかどうかを確認してください。施設の電力制約だけを理由に、買い手の構成を8 GPUノード一台から4 GPUノード二台へ見積もり直したことは一度や二度ではありません。

CPU、メモリ、ストレージ、ネットワーク

世代を超えて通用するバランスの原則があります。システムメモリは少なくともGPUメモリの合計と同等にすること（学習用途ではその倍あると余裕があります）。NVMeスクラッチはGPUに供給し続けられる速度を確保すること。そしてマルチノード学習では、野心に見合うファブリック（高速イーサネットまたはInfiniBandクラス）を用意すること。帯域の細いインターコネクトは高価なシリコンを遊ばせるからです。

輸出規制：発注前にコンプライアンスを計画する

先端AIアクセラレータは輸出規制の対象であり、最も代表的なのは、最上位のデータセンターGPUの特定仕向地への出荷を制限する米国産業安全保障局の規則です。買い手にとって実務上意味するところは次のとおりです。

• フラッグシップアクセラレータの入手可能性は仕向地の市場によって異なり、制限対象の仕向地は特定のSKUを合法的に受け取れない
• 規制対象モデルでは販売者がエンドユーザーと最終用途の情報を求めるが、これは合法的な取引相手である証しであり、面倒事ではない
• 規制は変わる。出荷を律するのは昨年の要約ではなく現行の規則である

当社は自らの取引条件で明言しています。注文にはエンドユーザー情報の提出が必要になる場合があり、合法的に履行できない取引はお断りします。本シリーズの専用ガイドでは、海外の買い手向けにこの規則をさらに詳しく解説します。

調達チャネルとリードタイム

GPUシステムの供給チャネルは大きく三つあります。OEMアロケーション（Dell、HPE、Supermicro、Lenovoの各チャネルから構成済みシステムを発注）は保証に裏付けられた新品システムを届けますが、需要が急増するとリードタイムは延びます。二次流通・整備済み市場は最も速く動き、前世代を魅力的な価格で提供しますが、品質は検証にすべてがかかっています。当社のような商社は両方にまたがります。新品または整備済みのGPUとプラットフォームを調達し、検証し、取りまとめ、香港または中国本土から輸出書類とともに出荷します。どのチャネルが勝つかは、制約が予算か、リードタイムか、保証かによって決まります。

判断の道筋を実例でたどる

ある買い手が中規模のオープンモデルをファインチューニングし、数千人のユーザーに提供したいとします。判断の道筋はこうです。ワークロードは学習と推論の混在。ピーク時のインターコネクトよりメモリ容量が重要なので、H100/A100クラスのPCIeアクセラレータ4枚から8枚のほうがSXMベースボードよりコストで勝る。来歴の記録がある整備済みA100 80GBカードでシリコン予算は半分になる。プラットフォームは冗長電源とNVMeスクラッチを備えた4Uシャーシ。施設側の確認でラックが給電できると裏付けが取れる。これで完全かつ根拠のある仕様となり、その一歩一歩が、当社が毎週買い手と交わしている会話そのものです。

よくある質問

GPUサーバーと通常のサーバーの違いは何ですか？

GPUサーバーはアクセラレータの電力と冷却を軸に設計されています。高出力の電源ユニット、持続負荷で動くカードやモジュールを想定したエアフロー、そしてそれらを接続するPCIeまたはSXMのトポロジーです。通常のサーバーでもカードを一枚か二枚は搭載できる場合がありますが、GPUサーバーはフル搭載を前提に設計されています。

GPUの計算資源は購入すべきですか、それとも借りるべきですか？

突発的あるいは探索的な作業ならレンタルが有利です。稼働率が持続的に高い場合、データの引力やプライバシーが重要な場合、あるいはクラウドGPUの価格が自分の稼働パターンでの償却後ハードウェアコストを上回る場合は、保有が有利です。多くのチームはプロトタイプはレンタルで、本番は購入でまかないます。この損益計算は本シリーズの別のガイドで扱います。

整備済みデータセンターGPUは信頼できますか？

データセンターカードは連続稼働を前提に設計されており、適切に退役処理され、カード単位のテスト結果が付いたフリート品は長い実用寿命を持ちます。リスクが集中するのは来歴とテストであって、シリコンという概念そのものではありません。グレード付けされ、テストされ、文書の揃った在庫を、責任を負える販売者から購入してください。

8 GPUサーバーにはどれだけの電力が必要ですか？

フラッグシップの8 GPU SXMノードは負荷時におよそ10 kWを消費します。PCIe構成はそれより少ないものの、通常のオフィス配線をはるかに超えます。施設の電力と冷却は、納品後ではなく発注前に確認してください。

4 GPUサーバーを後から8 GPUに増設できますか？

PCIeプラットフォームでは、シャーシ、電源ユニット、エアフローが最初からその前提で設計されている場合に限り可能です。SXMベースボードは固定構成です。増設の可能性が高いなら、大きめのプラットフォームを少ないカード枚数で購入し、時間をかけて埋めていくのが正解です。