Гід із купівлі GPU-сервера: як підібрати, закупити та розгорнути обладнання для ШІ

Купівля GPU-сервера зводиться до чотирьох рішень, ухвалених у правильному порядку: підібрати клас GPU під робоче навантаження, обрати форм-фактор (PCIe чи SXM), вирішити між новим і відновленим кремнієм та обрати платформу з живленням, охолодженням і підключенням, яких вимагають GPU. Дотримаєтеся порядку, і решта стане механікою закупівлі; переверніть його (спершу платформа, навантаження наостанок), і ви купите або надлишкову машину, або таку, що впирається в тротлінг.

Це базовий гід нашої серії про інфраструктуру ШІ та GPU. Він відображає те, як ми в AXISLINK насправді специфікуємо і прораховуємо GPU-системи для покупців, і посилатиметься на глибші матеріали про ціни, експортні правила та порівняння конкретних моделей у міру їх публікації.

Коротко

• Навантаження визначає клас GPU; усе інше випливає з цього
• Модулі SXM дають повну пропускну здатність інтерконекту; картки PCIe міняють швидкість на гнучкість
• Відновлені GPU для дата-центрів можуть різко зменшити витрати, якщо походження перевірене
• Вузол на 8 GPU - це проєкт із живлення та охолодження, а не просто купівля сервера
• Передові ШІ-прискорювачі підпадають під експортний контроль: сплануйте комплаєнс до замовлення
• Строки поставки залежать від каналу; вторинний ринок рухається швидше за черги алокації

Починайте з навантаження, а не з GPU

Ринок говорить номерами моделей GPU, але специфікація починається з того, що машина має робити. Приблизна відповідність у нинішньому поколінному ландшафті:

Два практичні висновки. Перший: флагмани попереднього покоління залишаються справді корисними; кластер A100 досі навчає і обслуговує серйозні моделі за частку ціни нинішніх флагманів на вторинному ринку. Другий: купівля більшого GPU, ніж потребує навантаження, нічого не гарантує на майбутнє, якщо вузьким місцем спершу стане інтерконект, сховище чи мережа.

PCIe чи SXM: розвилка форм-факторів

Те саме покоління GPU зазвичай виходить у двох формах, і цей вибір формує весь сервер.

Чесне емпіричне правило з нашої практики прорахунків: одновузлові інференс-машини та змішані дослідні бокси - це зазвичай збірки PCIe; серйозні кластери для навчання на багатьох GPU - це збірки SXM, і надбавка купує реальну пропускну здатність навчання, а не число зі специфікації.

Нове чи відновлене: що насправді пропонує вторинний ринок

GPU для дата-центрів потрапляють на вторинний ринок, коли гіперскейлери та ШІ-лабораторії оновлюють парки. Ця пропозиція робить прискорювачі попереднього покоління кардинально дешевшими за нові флагмани, і саме так багато команд дозволяють собі реальну потужність. Що відрізняє вдалу купівлю відновленого від азартної гри:

• Походження: хто експлуатував картку, в якому середовищі, чому її вивели з експлуатації
• Тестування: результати burn-in по кожній картці, а не по партії, з перевіркою пам'яті й температур
• Оцінка стану, зафіксована письмово, з фотографіями для вживаного товару
• Гарантія: заявлене продавцем вікно повернення, бо гарантія виробника рідко переходить далі
• Стан прошивки та ліцензій: заблоковані або прив'язані до постачальника картки існують і мають бути розкриті

Це бізнес походження. Покупці проводять купівлю відновленого через підзвітного торгового контрагента, а не через оголошення на маркетплейсі, саме тому, що перевірка, оцінка стану та можливість регресу і є справжнім продуктом; кремній однаковий у будь-якому разі. Наш склад GPU та прискорювачів саме з цієї причини явно вказує стан і оцінку кожної позиції.

Платформа: сервер навколо GPU

GPU не працюють самі по собі. Рішення про платформу - це місце, де бюджети тихо ламаються.

Шасі та щільність

Поширені формати: сервери 2U на 2-4 картки PCIe; вежі та стійкові шасі 4U/5U на 4-8 карток PCIe з кращим повітряним потоком; і спеціалізовані платформи HGX 6U-8U на 8 модулів SXM (клас Dell PowerEdge XE9680, клас HPE Cray, системи HGX від Supermicro). Шасі, в яке картки влазять, - не те саме, що шасі, яке охолоджує їх під тривалим навантаженням.

Живлення - прихований обмежувач

Флагманський вузол на 8 GPU споживає під навантаженням близько 10 kW. Це поза можливостями багатьох офісних серверних і суттєва частка бюджету стійки в колокації. Перед замовленням підтвердьте бюджет живлення стійки і потужність PDU, здатність охолодження відвести реально вироблене тепло, а також те, чи тарифікує майданчик за виділену потужність. Ми не раз перераховували покупцеві пропозицію з одного вузла на 8 GPU на два вузли по 4 GPU виключно через обмеження живлення майданчика.

CPU, пам'ять, сховище, мережа

Правила балансу, що діють крізь покоління: системна пам'ять щонайменше дорівнює сумарній пам'яті GPU (удвічі більша - комфортно для навчання); NVMe-сховище scratch достатньо швидке, щоб постійно живити GPU даними; а для багатовузлового навчання - фабрика (швидкісний Ethernet або клас InfiniBand) на рівні амбіцій, бо голодний інтерконект залишає дорогий кремній простоювати.

Експортний контроль: сплануйте комплаєнс до замовлення

Передові ШІ-прискорювачі підпадають під експортний контроль, насамперед під правила американського Bureau of Industry and Security, які обмежують постачання топових дата-центрових GPU до певних напрямків. Що це означає для покупця на практиці:

• Доступність флагманських прискорювачів різниться за ринком призначення; обмежені напрямки не можуть законно отримати певні SKU
• Продавці запитуватимуть інформацію про кінцевого користувача та кінцеве використання для контрольованих моделей; сприймайте це як ознаку законного контрагента, а не як перешкоду
• Регулювання змінюється; вашу поставку визначає чинний набір правил, а не торішній переказ

Ми прямо кажемо це у власних умовах: замовлення можуть потребувати інформації про кінцевого користувача, і ми відмовляємося від угод, які неможливо законно виконати. Окремий гід цієї серії глибше розбирає ці правила для закордонних покупців.

Канали постачання та строки

GPU-системи постачають три широкі канали. Алокація OEM (замовлення сконфігурованої системи через канали Dell, HPE, Supermicro чи Lenovo) дає нові системи з гарантією, але строки розтягуються, коли попит стрибає. Вторинний і відновлений ринок рухається найшвидше і привабливо оцінює попередні покоління, а якість повністю тримається на перевірці. Торгові компанії на кшталт нашої працюють в обох полях: знаходять нові чи відновлені GPU і платформи, перевіряють та консолідують їх і відвантажують з експортною документацією з Гонконгу або материкового Китаю. Який канал виграє, залежить від того, що вас обмежує: бюджет, строк поставки чи гарантійне покриття.

Розібраний приклад шляху рішення

Покупець хоче донавчати відкриті моделі середнього розміру й обслуговувати кілька тисяч користувачів. Шлях рішення: навантаження - суміш навчання та інференсу; обсяг пам'яті важить більше за піковий інтерконект, тож 4-8 прискорювачів PCIe класу H100/A100 обходять базову плату SXM за вартістю; відновлені картки A100 80GB із задокументованим походженням удвічі зменшують бюджет на кремній; платформа - шасі 4U з резервованим живленням і NVMe scratch; перевірка майданчика підтверджує, що стійка це прогодує. Це повна, обґрунтована специфікація, і кожен її крок - розмова, яку ми ведемо з покупцями щотижня.

Поширені запитання

Чим GPU-сервер відрізняється від звичайного сервера?

GPU-сервер збудований навколо живлення та охолодження прискорювачів: блоки живлення більшої потужності, повітряний потік, розрахований на картки чи модулі під тривалим навантаженням, і топологія PCIe або SXM для їх з'єднання. Звичайний сервер інколи вміщує одну-дві картки; GPU-сервер спроєктований під повний комплект.

Купувати чи орендувати обчислення на GPU?

Оренда виграє для рвучкої чи дослідницької роботи; володіння виграє, коли завантаження стабільне, коли важать гравітація даних чи приватність, або коли ціни хмарних GPU перевищують амортизовану вартість заліза для вашого циклу використання. Багато команд орендують для прототипів і купують для продакшену. Окремий гід цієї серії проводить через цю арифметику.

Чи надійні відновлені GPU для дата-центрів?

Дата-центрові картки сконструйовані для безперервної роботи, і грамотно виведені з парку картки з результатами тестів по кожній одиниці служать довго. Ризик концентрується в походженні й тестуванні, а не в самій ідеї кремнію: купуйте оцінений, протестований, задокументований товар у підзвітного продавця.

Скільки живлення потрібно серверу на 8 GPU?

Флагманські SXM-вузли на 8 GPU споживають під навантаженням близько 10 kW; збірки PCIe менше, але все одно значно більше за звичайну офісну проводку. Підтвердьте живлення та охолодження майданчика до замовлення, а не після доставки.

Чи можна пізніше розширити сервер із 4 GPU до 8 GPU?

На платформах PCIe - лише якщо шасі, блоки живлення та повітряний потік від початку розраховані на це. Базові плати SXM - фіксовані конфігурації. Якщо зростання ймовірне, купуйте більшу платформу з меншою кількістю карток і заповнюйте її з часом.