GPU 服务器选购指南：如何选型、采购与部署 AI 硬件
AI 与 GPU 基础设施采购 · 发布于 2026-07-25
购买 GPU 服务器归结为按正确顺序做出的四项决策：让 GPU 级别匹配工作负载，选定形态（PCIe 还是 SXM），在全新与翻新芯片之间做出取舍，再选择一个在供电、散热和互联上都能满足 GPU 需求的平台。顺序对了，剩下的只是采购流程；顺序反了（先定平台、最后看工作负载），买到的要么是过剩的机器，要么是一台会降频的机器。
这是我们 AI 与 GPU 基础设施系列的枢纽指南。它反映了我们在 AXISLINK 为买家实际选型和报价 GPU 系统的方式，随着系列各篇陆续发布，还会链接到关于价格、出口规则和具体型号对比的深入文章。
速览
- 工作负载决定 GPU 级别，其余一切由此展开
- SXM 模块提供完整的互联带宽；PCIe 卡以速度换取灵活性
- 翻新数据中心 GPU 在来源可验证的前提下能大幅压低成本
- 一台 8 GPU 节点是一项供电与散热工程，而不只是买一台服务器
- 先进 AI 加速器受出口管制约束：下单前先规划合规
- 交付周期因渠道而异；二手市场的流转快于原厂配额排队
从工作负载出发，而不是从 GPU 出发
市场习惯用 GPU 型号说话，但选型要从这台机器必须完成的任务开始。以当前世代格局为准的粗略对应如下：
| 工作负载 | 最重要的因素 | 典型 GPU 级别 |
|---|---|---|
| LLM 训练与微调 | 显存容量、互联带宽、多 GPU 扩展能力 | 旗舰数据中心加速器（H100/H200 级，SXM） |
| 规模化 LLM 推理 | 单位成本的显存容量、吞吐量 | H100/A100 级或大显存推理卡（L40S 级） |
| 扩散模型、渲染、媒体处理 | 原始算力、VRAM、驱动生态 | L40S 级或工作站卡（RTX 6000 系列） |
| 传统 ML、分析、CV | 单 GPU 成本、单节点部署的简洁性 | 上一代数据中心卡（A100，甚至 V100 级） |
| VDI 与虚拟工作站 | 许可模式、单卡承载密度 | 专为虚拟化打造的 GPU |
两点实际推论。第一，上一代旗舰依然真正有用：A100 集群至今仍能训练并部署相当规模的模型，而二手市场价格只是现役旗舰的零头。第二，如果互联、存储或网络先成为瓶颈，买一块超出工作负载所需的更大 GPU 并不能带来任何面向未来的保障。
PCIe 还是 SXM：形态的分岔口
同一代 GPU 通常以两种形态出货，这个选择决定了整台服务器的走向。
| PCIe 卡 | SXM 模块 | |
|---|---|---|
| 安装方式 | 标准插槽，适配多种服务器机型 | 焊接在专用基板上（HGX 级） |
| GPU 到 GPU 带宽 | 有限；部分卡对可加桥接器 | 全网状高带宽互联 |
| 供电与散热 | 单卡功耗较低，2U 内可风冷 | 功耗最高；需要专用机箱 |
| 灵活性 | 可在系统间加装或转移卡 | 固定为 4 GPU 或 8 GPU 配置 |
| 最适合 | 推理、混合负载、渐进扩容 | 扩展效率能带来回报的多 GPU 训练 |
来自我们报价工作的诚实经验法则：单节点推理和混合研究机器通常做 PCIe 方案；认真的多 GPU 训练集群做 SXM 方案，溢价换来的是实打实的训练吞吐量，而不是规格表上的一个数字。
全新还是翻新：二手市场真正提供什么
当超大规模云厂商和 AI 实验室更新机队时，数据中心 GPU 便进入二手市场。这一供给让上一代加速器远比全新旗舰便宜，也是许多团队买得起真实算力的原因。区分一笔靠谱的翻新采购与一场赌博的是：
- 来源：这张卡由谁运行、在什么环境中、因何退役
- 测试：按单卡而非按批次出具的烤机结果，并附显存与温度检查
- 以书面形式写明的成色分级，二手现货附实物照片
- 保修：卖方明示的退换窗口，因为原厂保修很少随卡转移
- 固件与许可状态：锁定或绑定厂商的卡确实存在，必须如实披露
这是一门讲究来源的生意。买家之所以通过可担责的贸易对手方而不是市场挂单来完成翻新采购，是因为验证、分级与追索才是真正的产品；硅片本身两边并无不同。我们的GPU 与加速器库存正是出于这个原因，逐项明确标注成色与分级。
平台：GPU 周围的那台服务器
GPU 不会自己运转。平台决策正是预算悄悄失守的地方。
机箱与密度
常见形态：可装 2 到 4 张 PCIe 卡的 2U 服务器；风道更好、可装 4 到 8 张 PCIe 卡的 4U/5U 塔式与机架机箱；以及承载 8 个 SXM 模块的专用 6U-8U HGX 平台（Dell PowerEdge XE9680 级、HPE Cray 级、Supermicro HGX 系统）。装得下这些卡的机箱，不等于能在持续负载下压得住温度的机箱。
供电是隐藏的约束
一台 8 GPU 旗舰节点满载功耗在 10 kW 量级。这超出了许多办公室机房的承受能力，在托管机房里也要占去机柜电力预算的可观份额。下单之前，请确认机柜电力预算与 PDU 容量、针对实际产热的制冷能力，以及机房是否按预配电力计费。我们不止一次纯粹因为机房电力限制，把买家的方案从一台 8 GPU 节点改报为两台 4 GPU 节点。
CPU、内存、存储、网络
跨代都成立的均衡法则：系统内存至少与 GPU 显存总量持平（训练场景下留到两倍更从容）；NVMe 暂存盘要快到足以持续喂饱 GPU；多节点训练则需要与目标相称的互联网络（高速以太网或 InfiniBand 级），因为吃不饱的互联会让昂贵的硅片闲置。
出口管制：下单之前先规划合规
先进 AI 加速器受出口管制约束，最突出的是美国工业与安全局限制顶级数据中心 GPU 向特定目的地出货的规则。对买家而言，这在实践中意味着：
- 旗舰加速器的可获得性因目的地市场而异；受限目的地无法合法接收某些 SKU
- 对受管制型号，卖方会要求提供最终用户与最终用途信息；应把这视为合法交易对手的标志，而非麻烦
- 法规会变化；管辖你这票货物的是现行规则，而不是去年的摘要
我们在自己的条款中说得很直白：订单可能需要提供最终用户信息，无法合法履行的交易我们会拒绝。本系列中会有专门一篇指南，更深入地为海外买家拆解这些规则。
采购渠道与交付周期
GPU 系统大体来自三类渠道。OEM 配额（通过 Dell、HPE、Supermicro 或 Lenovo 渠道订购整机配置）交付有保修背书的全新系统，但需求高峰时交付周期会被拉长。二手与翻新市场流转最快，上一代产品定价诱人，品质则完全取决于验证。像我们这样的贸易公司横跨两端：采购全新或翻新的 GPU 与平台，完成验证与集货，并附出口单证从香港或中国大陆发运。哪条渠道胜出，取决于你的约束是预算、交付周期还是保修覆盖。
决策路径的实例演算
一位买家想微调中等规模的开放模型，并向数千名用户提供服务。决策路径：工作负载是训练与推理混合；显存容量比峰值互联更重要，因此 4 到 8 张 H100/A100 级 PCIe 加速卡在成本上胜过一块 SXM 基板；来源有据可查的翻新 A100 80GB 卡把芯片预算砍半；平台选配冗余电源和 NVMe 暂存盘的 4U 机箱；机房核查确认机柜供得起电。这就是一份完整且站得住脚的规格，其中每一步都是我们每周与买家进行的对话。
常见问题
GPU 服务器与普通服务器有什么区别？
GPU 服务器围绕加速器的供电与散热而构建：更高瓦数的电源、为持续负载下的卡或模块设计的风道，以及连接它们的 PCIe 或 SXM 拓扑。普通服务器有时能插一到两张卡；GPU 服务器则是为满配而设计的。
GPU 算力应该买还是租？
突发性或探索性的工作租用更划算；当利用率持续走高、数据引力或隐私要紧、或者云 GPU 价格超过你使用节奏下的硬件摊销成本时，自购更胜一筹。许多团队用租来做原型、用买来上生产。本系列另有一篇指南专门演算这笔账。
翻新数据中心 GPU 可靠吗？
数据中心卡本就为连续运行而设计，退役流程规范、附单卡测试结果的机队卡有很长的可用寿命。风险集中在来源与测试上，而不是硅片这个概念本身：从可担责的卖家购买经分级、经测试、有文档的现货。
一台 8 GPU 服务器需要多少电力？
旗舰 8 GPU SXM 节点满载功耗在 10 kW 量级；PCIe 方案低一些，但仍远超普通办公室线路。请在下单之前而不是到货之后确认机房供电与制冷。
4 GPU 服务器以后能升级到 8 GPU 吗？
在 PCIe 平台上，只有当机箱、电源和风道从一开始就按此预留时才可行。SXM 基板是固定配置。如果扩容是大概率事件，就买更大的平台、先装较少的卡，随时间逐步插满。