GPU 서버 구매 가이드: AI 하드웨어 사양 선정, 조달, 구축 방법

GPU 서버 구매는 올바른 순서로 내리는 네 가지 결정으로 요약됩니다. 워크로드에 GPU 클래스를 맞추고, 폼팩터(PCIe 또는 SXM)를 고르고, 신품과 리퍼비시 실리콘 중에서 선택한 뒤, GPU가 요구하는 전력, 냉각, 연결성을 갖춘 플랫폼을 정하는 것입니다. 순서가 맞으면 나머지는 조달 실무일 뿐입니다. 순서가 뒤집히면(플랫폼을 먼저, 워크로드를 마지막에) 필요 이상으로 큰 장비를 사거나 스로틀링이 걸리는 장비를 사게 됩니다.

이 글은 저희 AI 및 GPU 인프라 시리즈의 허브 가이드입니다. AXISLINK에서 구매자를 위해 GPU 시스템의 사양을 잡고 견적을 내는 실제 방식을 반영했으며, 가격, 수출 규정, 특정 모델 비교를 다루는 심화 가이드가 발행되는 대로 링크를 추가합니다.

한눈에 보기

• 워크로드가 GPU 클래스를 결정하고, 나머지는 모두 그로부터 따라온다
• SXM 모듈은 완전한 인터커넥트 대역폭을 제공하고, PCIe 카드는 속도 대신 유연성을 얻는다
• 리퍼비시 데이터센터 GPU는 출처가 검증된다면 비용을 크게 낮출 수 있다
• 8 GPU 노드는 전력과 냉각 프로젝트이지, 단순한 서버 구매가 아니다
• 첨단 AI 가속기는 수출 통제 대상이다. 발주 전에 컴플라이언스를 계획하라
• 리드타임은 채널마다 다르며, 중고 시장이 할당 대기열보다 빠르게 움직인다

GPU가 아니라 워크로드에서 시작하라

시장은 GPU 모델 번호로 이야기하지만, 사양 선정은 이 장비가 해야 할 일에서 시작합니다. 현행 세대 기준의 대략적인 매핑은 다음과 같습니다.

실무적인 결론은 두 가지입니다. 첫째, 이전 세대 플래그십은 여전히 정말로 쓸모가 있습니다. A100 클러스터는 지금도 상당한 규모의 모델을 학습하고 서빙하며, 중고 시장에서는 현행 플래그십 가격의 몇 분의 일에 구할 수 있습니다. 둘째, 인터커넥트, 스토리지, 네트워크가 먼저 병목이 된다면 워크로드에 필요한 것보다 큰 GPU를 사도 미래 대비가 되지 않습니다.

PCIe냐 SXM이냐: 폼팩터의 갈림길

같은 세대의 GPU는 보통 두 가지 형태로 출하되며, 이 선택이 서버 전체의 방향을 결정합니다.

견적 실무에서 나온 솔직한 경험칙은 이렇습니다. 단일 노드 추론 장비와 혼합 연구용 장비는 대개 PCIe 구성이고, 본격적인 멀티 GPU 학습 클러스터는 SXM 구성입니다. 그 프리미엄으로 사는 것은 스펙 시트의 숫자가 아니라 실제 학습 처리량입니다.

신품이냐 리퍼비시냐: 중고 시장이 실제로 제공하는 것

하이퍼스케일러와 AI 연구소가 장비를 교체할 때 데이터센터 GPU가 중고 시장에 나옵니다. 이 공급 덕분에 이전 세대 가속기는 신품 플래그십보다 극적으로 저렴해지며, 많은 팀이 실질적인 용량을 감당할 수 있는 이유이기도 합니다. 좋은 리퍼비시 구매와 도박을 가르는 기준은 다음과 같습니다.

• 출처: 누가, 어떤 환경에서 그 카드를 운용했고, 왜 퇴역시켰는가
• 테스트: 배치 단위가 아닌 카드 단위의 번인 결과와 메모리 및 온도 점검
• 서면으로 명시된 상태 등급과 중고 재고의 실물 사진
• 보증: 제조사 보증은 거의 승계되지 않으므로, 판매자가 명시한 반품 가능 기간
• 펌웨어와 라이선스 상태: 잠긴 카드나 특정 벤더에 묶인 카드가 실재하므로 반드시 고지되어야 한다

이것은 출처가 전부인 사업입니다. 구매자가 리퍼비시 구매를 마켓플레이스 매물이 아니라 책임질 수 있는 무역 거래 상대를 통해 진행하는 이유는, 검증과 등급 판정과 구제 수단이야말로 진짜 상품이기 때문입니다. 실리콘 자체는 어느 쪽이든 같습니다. 저희 GPU 및 가속기 재고가 상태와 등급을 명시적으로 표기하는 것도 바로 그 이유에서입니다.

플랫폼: GPU를 둘러싼 서버

GPU는 스스로 돌아가지 않습니다. 예산이 조용히 무너지는 지점이 바로 플랫폼 결정입니다.

섀시와 집적 밀도

일반적인 형태는 다음과 같습니다. PCIe 카드를 2장에서 4장까지 수용하는 2U 서버, 공기 흐름이 더 좋고 4장에서 8장의 PCIe 카드를 수용하는 4U/5U 타워 및 랙 섀시, 그리고 8개의 SXM 모듈을 탑재하는 전용 설계의 6U-8U HGX 플랫폼(Dell PowerEdge XE9680 클래스, HPE Cray 클래스, Supermicro HGX 시스템)입니다. 카드가 물리적으로 들어가는 섀시와 지속 부하에서 카드를 식혀 내는 섀시는 다른 물건입니다.

전력은 숨은 제약이다

플래그십 8 GPU 노드는 부하 시 대략 10 kW를 소비합니다. 이는 많은 사무실 서버실의 한계를 넘고, 코로케이션에서는 랙 전력 예산의 상당 부분을 차지합니다. 발주 전에 랙 전력 예산과 PDU 용량, 실제 발생하는 열에 맞는 냉각 용량, 시설이 할당 전력 기준으로 과금하는지를 확인하십시오. 저희는 순전히 시설 전력 한계 때문에 구매자의 구성을 8 GPU 노드 한 대에서 4 GPU 노드 두 대로 다시 견적한 적이 한두 번이 아닙니다.

CPU, 메모리, 스토리지, 네트워크

세대를 넘어 통하는 균형 원칙이 있습니다. 시스템 메모리는 최소한 GPU 메모리 총량과 같게(학습이라면 두 배가 여유롭습니다), NVMe 스크래치는 GPU에 데이터를 계속 공급할 만큼 빠르게, 그리고 멀티 노드 학습이라면 목표에 걸맞은 패브릭(고속 이더넷 또는 InfiniBand 클래스)을 갖추는 것입니다. 굶주린 인터커넥트는 값비싼 실리콘을 놀게 만들기 때문입니다.

수출 통제: 발주 전에 컴플라이언스를 계획하라

첨단 AI 가속기는 수출 통제 대상이며, 가장 대표적인 것은 최상위 데이터센터 GPU의 특정 목적지 출하를 제한하는 미국 산업안보국 규정입니다. 구매자에게 실무적으로 의미하는 바는 다음과 같습니다.

• 플래그십 가속기의 구매 가능성은 목적지 시장에 따라 다르며, 제한 대상 목적지는 특정 SKU를 합법적으로 받을 수 없다
• 통제 대상 모델에 대해 판매자는 최종 사용자와 최종 용도 정보를 요구한다. 이를 번거로움이 아니라 합법적인 거래 상대의 표식으로 받아들여라
• 규정은 바뀐다. 당신의 선적을 지배하는 것은 작년의 요약본이 아니라 현행 규정이다

저희는 자체 약관에 분명히 명시합니다. 주문에는 최종 사용자 정보가 필요할 수 있으며, 합법적으로 이행할 수 없는 거래는 거절합니다. 이 시리즈의 별도 가이드에서 해외 구매자를 위한 규정을 더 깊이 풀어 설명합니다.

조달 채널과 리드타임

GPU 시스템의 공급 채널은 크게 세 가지입니다. OEM 할당(Dell, HPE, Supermicro 또는 Lenovo 채널에서 구성 완료 시스템을 주문)은 보증이 뒷받침되는 신품 시스템을 제공하지만, 수요가 몰리면 리드타임이 길어집니다. 중고 및 리퍼비시 시장은 가장 빠르게 움직이고 이전 세대를 매력적인 가격에 내놓지만, 품질은 전적으로 검증에 달려 있습니다. 저희 같은 무역회사는 양쪽에 걸쳐 있습니다. 신품 또는 리퍼비시 GPU와 플랫폼을 소싱하고, 검증하고, 통합한 뒤, 홍콩 또는 중국 본토에서 수출 서류와 함께 선적합니다. 어느 채널이 유리한지는 제약이 예산인지, 리드타임인지, 보증 범위인지에 따라 갈립니다.

결정 경로를 따라가는 실전 예시

어느 구매자가 중간 규모의 오픈 모델을 파인튜닝해 수천 명의 사용자에게 서비스하려 합니다. 결정 경로는 이렇습니다. 워크로드는 학습과 추론의 혼합입니다. 피크 인터커넥트보다 메모리 용량이 중요하므로 H100/A100 클래스 PCIe 가속기 4장에서 8장이 SXM 베이스보드보다 비용에서 앞섭니다. 출처가 문서로 확인되는 리퍼비시 A100 80GB 카드는 실리콘 예산을 절반으로 줄입니다. 플랫폼은 이중화 전원과 NVMe 스크래치를 갖춘 4U 섀시입니다. 시설 점검으로 랙이 전력을 감당할 수 있음을 확인합니다. 이것이 완전하고 근거 있는 사양이며, 그 한 단계 한 단계가 저희가 매주 구매자와 나누는 대화입니다.

자주 묻는 질문

GPU 서버와 일반 서버의 차이는 무엇인가요?

GPU 서버는 가속기의 전력과 냉각을 중심으로 설계됩니다. 더 높은 와트수의 전원 장치, 지속 부하에서 도는 카드나 모듈을 위한 공기 흐름 설계, 그리고 이들을 연결하는 PCIe 또는 SXM 토폴로지입니다. 일반 서버도 카드를 한두 장 꽂을 수 있는 경우가 있지만, GPU 서버는 만재 구성을 전제로 설계됩니다.

GPU 컴퓨팅은 사야 하나요, 빌려야 하나요?

산발적이거나 탐색적인 작업이라면 임대가 유리합니다. 사용률이 지속적으로 높거나, 데이터 중력이나 프라이버시가 중요하거나, 클라우드 GPU 가격이 자신의 가동 패턴에서 하드웨어 상각 비용을 넘어선다면 보유가 유리합니다. 많은 팀이 프로토타입은 임대로, 프로덕션은 구매로 해결합니다. 이 계산은 이 시리즈의 별도 가이드에서 다룹니다.

리퍼비시 데이터센터 GPU는 믿을 만한가요?

데이터센터 카드는 연속 가동을 전제로 설계되며, 제대로 퇴역 처리되고 카드 단위 테스트 결과가 있는 장비는 오랜 사용 수명을 가집니다. 위험은 실리콘이라는 개념이 아니라 출처와 테스트에 집중됩니다. 등급이 매겨지고, 테스트되고, 문서가 갖춰진 재고를 책임질 수 있는 판매자에게서 구매하십시오.

8 GPU 서버에는 전력이 얼마나 필요한가요?

플래그십 8 GPU SXM 노드는 부하 시 대략 10 kW를 소비합니다. PCIe 구성은 그보다 적지만 여전히 일반 사무실 배선을 훨씬 넘어섭니다. 시설의 전력과 냉각은 납품 후가 아니라 발주 전에 확인하십시오.

4 GPU 서버를 나중에 8 GPU로 업그레이드할 수 있나요?

PCIe 플랫폼에서는 섀시, 전원 장치, 공기 흐름이 처음부터 그 규모로 설계된 경우에만 가능합니다. SXM 베이스보드는 고정 구성입니다. 확장 가능성이 크다면 더 큰 플랫폼을 더 적은 카드로 사서 시간을 두고 채워 나가십시오.