Hướng dẫn mua máy chủ GPU: cách chọn cấu hình, tìm nguồn và triển khai phần cứng AI

Mua máy chủ GPU quy về bốn quyết định thực hiện theo đúng thứ tự: khớp hạng GPU với khối lượng công việc, chọn kiểu dáng (PCIe hay SXM), quyết định giữa chip mới và chip tân trang, rồi chọn một nền tảng có nguồn điện, tản nhiệt và kết nối đáp ứng được đòi hỏi của GPU. Đúng thứ tự thì phần còn lại chỉ là nghiệp vụ mua hàng; làm ngược lại (chọn nền tảng trước, khối lượng công việc sau cùng) thì hoặc mua thừa máy, hoặc mua một cỗ máy bị bóp hiệu năng vì quá nhiệt.

Đây là bài hướng dẫn trung tâm trong loạt bài về hạ tầng AI và GPU của chúng tôi. Nó phản ánh cách chúng tôi thực sự chọn cấu hình và báo giá hệ thống GPU cho người mua tại AXISLINK, và sẽ liên kết tới các bài phân tích sâu hơn về giá, quy định xuất khẩu và so sánh từng dòng sản phẩm khi các bài đó được xuất bản.

Tóm tắt nhanh

• Khối lượng công việc quyết định hạng GPU; mọi thứ khác đều theo sau
• Module SXM cho băng thông kết nối trọn vẹn; card PCIe đổi tốc độ lấy sự linh hoạt
• GPU trung tâm dữ liệu tân trang có thể cắt giảm mạnh chi phí nếu nguồn gốc được xác minh
• Một node 8 GPU là cả một dự án về điện và tản nhiệt, không chỉ là một lần mua máy chủ
• Bộ tăng tốc AI tiên tiến chịu kiểm soát xuất khẩu: hãy lên kế hoạch tuân thủ trước khi đặt hàng
• Thời gian giao hàng khác nhau theo kênh; thị trường thứ cấp xoay nhanh hơn hàng chờ phân bổ

Bắt đầu từ khối lượng công việc, đừng bắt đầu từ GPU

Thị trường nói chuyện bằng mã model GPU, nhưng việc chọn cấu hình bắt đầu từ những gì cỗ máy phải làm. Ánh xạ sơ bộ theo cục diện thế hệ hiện tại:

Hai hệ quả thực tế. Thứ nhất, các dòng đầu bảng thế hệ trước vẫn thực sự hữu dụng: một cụm A100 vẫn huấn luyện và phục vụ được các mô hình nghiêm túc, với giá trên thị trường thứ cấp chỉ bằng một phần nhỏ dòng đầu bảng hiện tại. Thứ hai, mua GPU lớn hơn nhu cầu của khối lượng công việc không giúp đón đầu tương lai nếu kết nối, lưu trữ hay mạng trở thành nút thắt trước.

PCIe hay SXM: ngã ba kiểu dáng

Cùng một thế hệ GPU thường xuất xưởng dưới hai dạng, và lựa chọn này định hình cả chiếc máy chủ.

Quy tắc kinh nghiệm thẳng thắn từ công việc báo giá của chúng tôi: máy suy luận một node và máy nghiên cứu đa dụng thường là cấu hình PCIe; các cụm huấn luyện đa GPU nghiêm túc là cấu hình SXM, và khoản chênh giá mua được thông lượng huấn luyện thật, chứ không phải một con số trên bảng thông số.

Mới hay tân trang: thị trường thứ cấp thực sự mang lại gì

GPU trung tâm dữ liệu đổ vào thị trường thứ cấp khi các hyperscaler và phòng thí nghiệm AI thay mới đội máy. Nguồn cung này khiến bộ tăng tốc thế hệ trước rẻ hơn hẳn hàng đầu bảng mới, và đó là cách nhiều đội ngũ mua nổi năng lực tính toán thực sự. Điều tách một thương vụ tân trang tốt khỏi một canh bạc:

• Nguồn gốc: ai đã vận hành card, trong môi trường nào, vì sao bị loại biên
• Kiểm thử: kết quả burn-in theo từng card chứ không theo lô, kèm kiểm tra bộ nhớ và nhiệt
• Phân hạng tình trạng được ghi rõ bằng văn bản, kèm ảnh chụp với hàng đã qua sử dụng
• Bảo hành: cửa sổ đổi trả được người bán nêu rõ, vì bảo hành hãng hiếm khi chuyển giao được
• Trạng thái firmware và giấy phép: card bị khóa hoặc bị ràng buộc nhà cung cấp là có thật và phải được công bố

Đây là nghề của nguồn gốc. Lý do người mua đưa các thương vụ tân trang qua một đối tác thương mại chịu trách nhiệm thay vì một tin đăng trên chợ điện tử là vì việc xác minh, phân hạng và quyền truy đòi mới là sản phẩm thực sự; con chip thì bên nào cũng như nhau. Kho GPU và bộ tăng tốc của chúng tôi ghi rõ tình trạng và phân hạng chính vì lý do đó.

Nền tảng: chiếc máy chủ bao quanh GPU

GPU không tự chạy được. Quyết định về nền tảng chính là nơi ngân sách âm thầm vỡ trận.

Chassis và mật độ

Các dạng phổ biến: máy chủ 2U chứa 2 đến 4 card PCIe; thùng tower và chassis rack 4U/5U chứa 4 đến 8 card PCIe với luồng gió tốt hơn; và nền tảng HGX 6U-8U chuyên dụng mang 8 module SXM (hạng Dell PowerEdge XE9680, hạng HPE Cray, hệ thống Supermicro HGX). Chassis nhét vừa card không đồng nghĩa với chassis làm mát nổi chúng dưới tải liên tục.

Điện là ràng buộc ẩn

Một node đầu bảng 8 GPU kéo cỡ 10 kW khi đầy tải. Mức đó vượt quá nhiều phòng máy chủ văn phòng và chiếm phần đáng kể ngân sách điện của một rack tại trung tâm colocation. Trước khi đặt hàng, hãy xác nhận ngân sách điện của rack và công suất PDU, năng lực làm mát cho lượng nhiệt thực sinh ra, và việc cơ sở có tính phí theo công suất cấp phát hay không. Không chỉ một lần chúng tôi phải báo giá lại cho người mua từ một node 8 GPU thành hai node 4 GPU thuần túy vì giới hạn điện của cơ sở.

CPU, bộ nhớ, lưu trữ, mạng

Các quy tắc cân bằng đúng qua nhiều thế hệ: bộ nhớ hệ thống ít nhất ngang tổng bộ nhớ GPU (gấp đôi thì thoải mái cho huấn luyện); ổ NVMe làm vùng đệm đủ nhanh để nuôi GPU liên tục; và với huấn luyện đa node, một fabric (Ethernet tốc độ cao hoặc hạng InfiniBand) tương xứng với tham vọng, vì kết nối bị bỏ đói sẽ để những con chip đắt tiền ngồi không.

Kiểm soát xuất khẩu: lên kế hoạch tuân thủ trước khi đặt hàng

Bộ tăng tốc AI tiên tiến thuộc diện kiểm soát xuất khẩu, nổi bật nhất là các quy định của Cục Công nghiệp và An ninh Hoa Kỳ hạn chế việc giao các GPU trung tâm dữ liệu hàng đầu tới một số điểm đến. Với người mua, trên thực tế điều này nghĩa là:

• Mức sẵn hàng của bộ tăng tốc đầu bảng khác nhau theo thị trường đích; các điểm đến bị hạn chế không thể nhận hợp pháp một số SKU
• Người bán sẽ hỏi thông tin người dùng cuối và mục đích sử dụng cuối với các model bị kiểm soát; hãy coi đó là dấu hiệu của một đối tác hợp pháp, không phải phiền hà
• Quy định thay đổi liên tục; chi phối lô hàng của bạn là bộ quy tắc hiện hành, không phải bản tóm tắt năm ngoái

Chúng tôi nói thẳng điều này trong điều khoản của mình: đơn hàng có thể cần thông tin người dùng cuối, và chúng tôi từ chối các giao dịch không thể thực hiện hợp pháp. Một bài hướng dẫn riêng trong loạt bài này sẽ mổ xẻ các quy định sâu hơn cho người mua ở nước ngoài.

Kênh mua hàng và thời gian giao hàng

Có ba kênh lớn cung cấp hệ thống GPU. Phân bổ OEM (đặt một hệ thống cấu hình sẵn qua kênh Dell, HPE, Supermicro hoặc Lenovo) giao hệ thống mới có bảo hành, nhưng thời gian giao kéo dài khi nhu cầu tăng vọt. Thị trường thứ cấp và hàng tân trang xoay nhanh nhất và định giá hấp dẫn cho các thế hệ trước, với chất lượng phụ thuộc hoàn toàn vào khâu xác minh. Các công ty thương mại như chúng tôi đứng giữa cả hai: tìm nguồn GPU và nền tảng mới hoặc tân trang, xác minh và gom hàng, rồi giao kèm chứng từ xuất khẩu từ Hồng Kông hoặc Trung Quốc đại lục. Kênh nào thắng phụ thuộc vào ràng buộc của bạn là ngân sách, thời gian giao hay phạm vi bảo hành.

Một ví dụ cụ thể về lộ trình quyết định

Một người mua muốn tinh chỉnh các mô hình mở cỡ vừa và phục vụ vài nghìn người dùng. Lộ trình quyết định: khối lượng công việc là hỗn hợp huấn luyện và suy luận; dung lượng bộ nhớ quan trọng hơn băng thông kết nối đỉnh, nên 4 đến 8 bộ tăng tốc PCIe hạng H100/A100 thắng bo mạch nền SXM về chi phí; card A100 80GB tân trang có nguồn gốc tài liệu đầy đủ cắt đôi ngân sách chip; nền tảng là chassis 4U với nguồn dự phòng và ổ đệm NVMe; kiểm tra cơ sở xác nhận rack cấp đủ điện. Đó là một bản cấu hình hoàn chỉnh, đứng vững được, và từng bước trong đó là cuộc trao đổi chúng tôi thực hiện với người mua hằng tuần.

Câu hỏi thường gặp

Máy chủ GPU khác máy chủ thường ở điểm nào?

Máy chủ GPU được xây quanh nhu cầu điện và tản nhiệt của bộ tăng tốc: bộ nguồn công suất cao hơn, luồng gió thiết kế cho card hoặc module chạy tải liên tục, và cấu trúc liên kết PCIe hoặc SXM để nối chúng lại. Máy chủ thường đôi khi gắn được một hoặc hai card; máy chủ GPU được thiết kế để gắn đủ số lượng.

Nên mua hay thuê năng lực tính toán GPU?

Thuê thắng với công việc bùng nổ ngắn hạn hoặc mang tính thăm dò; mua thắng khi mức sử dụng duy trì đều, khi trọng lực dữ liệu hay quyền riêng tư quan trọng, hoặc khi giá GPU đám mây vượt chi phí phần cứng khấu hao theo nhịp sử dụng của bạn. Nhiều đội ngũ thuê để làm nguyên mẫu và mua cho môi trường sản xuất. Một bài hướng dẫn riêng trong loạt bài này tính chi tiết bài toán đó.

GPU trung tâm dữ liệu tân trang có đáng tin không?

Card trung tâm dữ liệu được thiết kế cho vận hành liên tục, và card loại biên đúng quy trình, có kết quả kiểm thử theo từng card, còn tuổi thọ hữu ích rất dài. Rủi ro tập trung ở nguồn gốc và kiểm thử, không nằm ở bản chất con chip: hãy mua hàng đã phân hạng, đã kiểm thử, có hồ sơ từ một người bán chịu trách nhiệm.

Máy chủ 8 GPU cần bao nhiêu điện?

Node SXM đầu bảng 8 GPU kéo cỡ 10 kW khi đầy tải; cấu hình PCIe thấp hơn, nhưng vẫn vượt xa hệ thống điện văn phòng thông thường. Hãy xác nhận điện và làm mát của cơ sở trước khi đặt hàng, đừng đợi tới sau khi nhận hàng.

Tôi có thể nâng cấp máy chủ 4 GPU lên 8 GPU sau này không?

Trên nền tảng PCIe, chỉ khi chassis, bộ nguồn và luồng gió được tính cỡ cho việc đó ngay từ đầu. Bo mạch nền SXM là cấu hình cố định. Nếu khả năng mở rộng là cao, hãy mua nền tảng lớn hơn với ít card hơn rồi lấp đầy dần theo thời gian.