คู่มือเลือกซื้อเซิร์ฟเวอร์ GPU: วิธีกำหนดสเปก จัดหา และติดตั้งใช้งานฮาร์ดแวร์ AI

การซื้อเซิร์ฟเวอร์ GPU สรุปได้เป็นการตัดสินใจสี่ข้อที่ต้องทำตามลำดับที่ถูกต้อง: จับคู่ระดับของ GPU ให้ตรงกับเวิร์กโหลด เลือกฟอร์มแฟกเตอร์ (PCIe หรือ SXM) ตัดสินใจระหว่างชิปใหม่กับชิป refurbished และเลือกแพลตฟอร์มที่มีกำลังไฟ การระบายความร้อน และการเชื่อมต่อตามที่ GPU ต้องการ หากเรียงลำดับถูกต้อง ที่เหลือก็เป็นเพียงกลไกการจัดซื้อ แต่หากทำกลับด้าน (เลือกแพลตฟอร์มก่อน ดูเวิร์กโหลดทีหลัง) คุณจะได้เครื่องที่เกินความจำเป็นหรือเครื่องที่ถูกจำกัดประสิทธิภาพเพราะความร้อน

นี่คือคู่มือหลักของซีรีส์โครงสร้างพื้นฐาน AI และ GPU ของเรา เนื้อหาสะท้อนวิธีที่เรากำหนดสเปกและเสนอราคาระบบ GPU ให้ผู้ซื้อจริงที่ AXISLINK และจะลิงก์ไปยังคู่มือเจาะลึกเรื่องราคา กฎการส่งออก และการเปรียบเทียบรุ่นเฉพาะเมื่อคู่มือเหล่านั้นเผยแพร่

สรุปโดยย่อ

• เวิร์กโหลดเป็นตัวกำหนดระดับ GPU สิ่งอื่นทั้งหมดตามมาเอง
• โมดูล SXM ให้แบนด์วิดท์อินเตอร์คอนเนกต์เต็มรูปแบบ ส่วนการ์ด PCIe แลกความเร็วกับความยืดหยุ่น
• GPU ดาต้าเซ็นเตอร์แบบ refurbished ช่วยลดต้นทุนได้มากหากตรวจสอบแหล่งที่มาแล้ว
• โหนด 8-GPU คือโปรเจกต์ด้านกำลังไฟและการระบายความร้อน ไม่ใช่แค่การซื้อเซิร์ฟเวอร์
• ตัวเร่ง AI ขั้นสูงอยู่ภายใต้มาตรการควบคุมการส่งออก: วางแผนการปฏิบัติตามกฎก่อนสั่งซื้อ
• ระยะเวลาส่งมอบต่างกันตามช่องทาง ตลาดรองเคลื่อนไหวเร็วกว่าคิวการจัดสรร

เริ่มจากเวิร์กโหลด ไม่ใช่ตัว GPU

ตลาดพูดคุยกันด้วยหมายเลขรุ่นของ GPU แต่การกำหนดสเปกต้องเริ่มจากสิ่งที่เครื่องต้องทำ ตารางจับคู่คร่าว ๆ ตามภูมิทัศน์ของเจเนอเรชันปัจจุบัน:

มีข้อสรุปเชิงปฏิบัติสองข้อ ข้อแรก เรือธงเจเนอเรชันก่อนยังคงมีประโยชน์จริง: คลัสเตอร์ A100 ยังเทรนและให้บริการโมเดลระดับจริงจังได้ ในราคาตลาดรองที่เป็นเพียงเศษเสี้ยวของราคาเรือธงรุ่นปัจจุบัน ข้อสอง การซื้อ GPU ใหญ่เกินกว่าที่เวิร์กโหลดต้องการไม่ได้ช่วยรองรับอนาคตเลย หากอินเตอร์คอนเนกต์ สตอเรจ หรือเครือข่ายกลายเป็นคอขวดเสียก่อน

PCIe หรือ SXM: ทางแยกของฟอร์มแฟกเตอร์

GPU เจเนอเรชันเดียวกันมักวางจำหน่ายในสองรูปแบบ และตัวเลือกนี้กำหนดทิศทางของเซิร์ฟเวอร์ทั้งเครื่อง

กฎง่าย ๆ ที่ตรงไปตรงมาจากงานเสนอราคาของเรา: เครื่อง inference โหนดเดียวและเครื่องวิจัยแบบผสมมักเป็นงานประกอบ PCIe ส่วนคลัสเตอร์เทรนหลาย GPU อย่างจริงจังเป็นงาน SXM และส่วนต่างราคาที่จ่ายเพิ่มนั้นซื้อปริมาณงานเทรนจริง ไม่ใช่ตัวเลขในสเปกชีต

ของใหม่หรือ refurbished: ตลาดรองมีอะไรให้จริง ๆ

GPU ดาต้าเซ็นเตอร์เข้าสู่ตลาดรองเมื่อไฮเปอร์สเกลเลอร์และแล็บ AI เปลี่ยนฝูงเครื่องชุดใหม่ อุปทานนี้ทำให้ตัวเร่งเจเนอเรชันก่อนถูกกว่าเรือธงใหม่อย่างมาก และเป็นวิธีที่หลายทีมเข้าถึงคาปาซิตี้จริงได้ สิ่งที่แยกการซื้อ refurbished ที่ดีออกจากการเสี่ยงดวง:

• แหล่งที่มา: ใครใช้การ์ดมา ในสภาพแวดล้อมแบบใด และปลดระวางเพราะอะไร
• การทดสอบ: ผลการ burn-in รายการ์ด ไม่ใช่รายล็อต พร้อมการตรวจหน่วยความจำและอุณหภูมิ
• การจัดเกรดสภาพระบุเป็นลายลักษณ์อักษร พร้อมรูปถ่ายสำหรับสต็อกมือสอง
• การรับประกัน: ระยะเวลารับคืนที่ผู้ขายระบุชัดเจน เพราะการรับประกันจากผู้ผลิตแทบไม่โอนต่อ
• สถานะเฟิร์มแวร์และไลเซนส์: การ์ดที่ถูกล็อกหรือผูกกับผู้จำหน่ายรายใดรายหนึ่งมีอยู่จริงและต้องเปิดเผย

นี่คือธุรกิจของแหล่งที่มา เหตุผลที่ผู้ซื้อเลือกซื้อ refurbished ผ่านคู่ค้าเทรดดิ้งที่รับผิดชอบได้แทนการซื้อจากประกาศในมาร์เก็ตเพลสก็คือ การตรวจสอบ การจัดเกรด และช่องทางเรียกร้องคือสินค้าที่แท้จริง เพราะตัวชิปเหมือนกันไม่ว่าซื้อทางไหน สต็อก GPU และตัวเร่ง ของเราจึงระบุสภาพและเกรดไว้อย่างชัดเจนด้วยเหตุผลนี้เอง

แพลตฟอร์ม: เซิร์ฟเวอร์รอบตัว GPU

GPU ทำงานเองไม่ได้ การตัดสินใจเรื่องแพลตฟอร์มคือจุดที่งบประมาณพังอย่างเงียบ ๆ

แชสซีและความหนาแน่น

รูปแบบที่พบบ่อย: เซิร์ฟเวอร์ 2U รองรับการ์ด PCIe 2 ถึง 4 ใบ ทาวเวอร์และแชสซีแร็ค 4U/5U รองรับการ์ด PCIe 4 ถึง 8 ใบพร้อมการไหลของอากาศที่ดีกว่า และแพลตฟอร์ม HGX 6U-8U ที่ออกแบบมาเฉพาะสำหรับโมดูล SXM 8 ตัว (ระดับ Dell PowerEdge XE9680 ระดับ HPE Cray และระบบ HGX ของ Supermicro) แชสซีที่ใส่การ์ดได้พอดีไม่ใช่แชสซีเดียวกับที่ระบายความร้อนให้การ์ดได้เมื่อโหลดต่อเนื่อง

กำลังไฟคือข้อจำกัดที่ซ่อนอยู่

โหนดเรือธงแบบ 8-GPU กินไฟราว 10 kW เมื่อมีโหลด ซึ่งเกินขีดความสามารถของห้องเซิร์ฟเวอร์สำนักงานหลายแห่ง และเป็นสัดส่วนที่มีนัยสำคัญของงบไฟต่อแร็คในศูนย์โคโลเคชัน ก่อนสั่งซื้อ ให้ยืนยันงบกำลังไฟของแร็คและความจุ PDU ความสามารถระบายความร้อนสำหรับความร้อนที่เกิดขึ้นจริง และตรวจสอบว่าสถานที่คิดค่าบริการตามกำลังไฟที่จัดสรรหรือไม่ เราเคยเสนอราคาใหม่ให้ผู้ซื้อจากโหนด 8-GPU หนึ่งโหนดเป็นโหนด 4-GPU สองโหนดมาแล้วมากกว่าหนึ่งครั้ง เพียงเพราะข้อจำกัดด้านกำลังไฟของสถานที่

CPU หน่วยความจำ สตอเรจ เครือข่าย

กฎความสมดุลที่ใช้ได้ทุกเจเนอเรชัน: หน่วยความจำระบบอย่างน้อยเท่ากับหน่วยความจำ GPU รวม (สองเท่าจะสบายสำหรับการเทรน) สตอเรจ scratch แบบ NVMe ที่เร็วพอจะป้อนข้อมูลให้ GPU ได้ทัน และสำหรับการเทรนหลายโหนด ต้องมีแฟบริก (Ethernet ความเร็วสูงหรือระดับ InfiniBand) ที่สมกับความทะเยอทะยาน เพราะอินเตอร์คอนเนกต์ที่ไม่พอจะทำให้ชิปราคาแพงต้องรองานเฉย ๆ

มาตรการควบคุมการส่งออก: วางแผนการปฏิบัติตามกฎก่อนสั่งซื้อ

ตัวเร่ง AI ขั้นสูงอยู่ภายใต้มาตรการควบคุมการส่งออก ที่เด่นชัดที่สุดคือกฎของ Bureau of Industry and Security ของสหรัฐฯ ที่จำกัดการจัดส่ง GPU ดาต้าเซ็นเตอร์ระดับสูงสุดไปยังปลายทางบางแห่ง สิ่งนี้หมายความว่าอย่างไรสำหรับผู้ซื้อในทางปฏิบัติ:

• ความพร้อมจำหน่ายของตัวเร่งเรือธงต่างกันตามตลาดปลายทาง ปลายทางที่ถูกจำกัดไม่สามารถรับ SKU บางรายการได้อย่างถูกกฎหมาย
• ผู้ขายจะขอข้อมูลผู้ใช้ปลายทางและการใช้งานปลายทางสำหรับรุ่นที่ถูกควบคุม ให้มองว่านั่นคือสัญญาณของคู่ค้าที่ทำถูกกฎหมาย ไม่ใช่ความยุ่งยาก
• กฎระเบียบเปลี่ยนแปลงได้ ชุดกฎปัจจุบันต่างหากที่กำกับการจัดส่งของคุณ ไม่ใช่บทสรุปของปีที่แล้ว

เราระบุเรื่องนี้ไว้ตรง ๆ ในเงื่อนไขของเราเอง: คำสั่งซื้ออาจต้องใช้ข้อมูลผู้ใช้ปลายทาง และเราปฏิเสธธุรกรรมที่ไม่สามารถดำเนินการได้อย่างถูกกฎหมาย คู่มือเฉพาะทางในซีรีส์นี้จะเจาะลึกกฎเหล่านี้สำหรับผู้ซื้อในต่างประเทศเพิ่มเติม

ช่องทางจัดหาและระยะเวลาส่งมอบ

ระบบ GPU มาจากช่องทางกว้าง ๆ สามช่องทาง การจัดสรรจาก OEM (สั่งระบบที่คอนฟิกแล้วผ่านช่องทางของ Dell, HPE, Supermicro หรือ Lenovo) ให้ระบบใหม่พร้อมการรับประกัน แต่ระยะเวลาส่งมอบยืดออกเมื่อดีมานด์พุ่ง ตลาดรองและตลาด refurbished เคลื่อนไหวเร็วที่สุดและตั้งราคาเจเนอเรชันก่อนได้น่าสนใจ โดยคุณภาพขึ้นอยู่กับการตรวจสอบทั้งหมด บริษัทเทรดดิ้งอย่างเราอยู่คร่อมทั้งสองฝั่ง: จัดหา GPU และแพลตฟอร์มทั้งใหม่และ refurbished ตรวจสอบและรวบรวมสินค้า แล้วจัดส่งพร้อมเอกสารส่งออกจากฮ่องกงหรือจีนแผ่นดินใหญ่ ช่องทางไหนชนะขึ้นอยู่กับว่าข้อจำกัดของคุณคืองบประมาณ ระยะเวลาส่งมอบ หรือความคุ้มครองการรับประกัน

ตัวอย่างจริงของเส้นทางการตัดสินใจ

ผู้ซื้อรายหนึ่งต้องการไฟน์จูนโมเดลโอเพนขนาดกลางและให้บริการผู้ใช้ไม่กี่พันคน เส้นทางการตัดสินใจ: เวิร์กโหลดเป็นการเทรนผสม inference ความจุหน่วยความจำสำคัญกว่าอินเตอร์คอนเนกต์ระดับพีค ดังนั้นตัวเร่ง PCIe 4 ถึง 8 ตัวในระดับ H100/A100 ชนะเบสบอร์ด SXM ในด้านต้นทุน การ์ด A100 80GB แบบ refurbished ที่มีเอกสารแหล่งที่มาช่วยลดงบชิปลงครึ่งหนึ่ง แพลตฟอร์มเป็นแชสซี 4U พร้อมพาวเวอร์สำรองและ NVMe scratch และการตรวจสถานที่ยืนยันว่าแร็คจ่ายไฟให้ได้ นี่คือสเปกที่ครบถ้วนและปกป้องได้ และทุกขั้นตอนคือบทสนทนาที่เรามีกับผู้ซื้อเป็นประจำทุกสัปดาห์

คำถามที่พบบ่อย

เซิร์ฟเวอร์ GPU ต่างจากเซิร์ฟเวอร์ทั่วไปอย่างไร

เซิร์ฟเวอร์ GPU ถูกออกแบบรอบกำลังไฟและการระบายความร้อนของตัวเร่ง: พาวเวอร์ซัพพลายวัตต์สูงกว่า การไหลของอากาศที่ออกแบบมาสำหรับการ์ดหรือโมดูลภายใต้โหลดต่อเนื่อง และโทโพโลยี PCIe หรือ SXM สำหรับเชื่อมต่อ เซิร์ฟเวอร์ทั่วไปบางครั้งใส่การ์ดได้หนึ่งหรือสองใบ แต่เซิร์ฟเวอร์ GPU ออกแบบมาเพื่อรองรับการ์ดเต็มจำนวน

ควรซื้อหรือเช่ากำลังประมวลผล GPU

การเช่าชนะสำหรับงานที่พีคเป็นช่วง ๆ หรืองานเชิงสำรวจ การเป็นเจ้าของชนะเมื่อการใช้งานต่อเนื่อง เมื่อ data gravity หรือความเป็นส่วนตัวของข้อมูลสำคัญ หรือเมื่อราคา GPU คลาวด์สูงกว่าต้นทุนฮาร์ดแวร์แบบตัดจำหน่ายตามรอบการใช้งานของคุณ หลายทีมเช่าเพื่อทำต้นแบบและซื้อสำหรับโปรดักชัน คู่มือแยกอีกฉบับในซีรีส์นี้จะพาคำนวณตัวเลขอย่างละเอียด

GPU ดาต้าเซ็นเตอร์แบบ refurbished เชื่อถือได้หรือไม่

การ์ดดาต้าเซ็นเตอร์ถูกออกแบบมาเพื่อทำงานต่อเนื่อง และการ์ดจากฝูงเครื่องที่ปลดระวางอย่างถูกวิธีพร้อมผลทดสอบรายการ์ดมีอายุการใช้งานยาวนาน ความเสี่ยงกระจุกอยู่ที่แหล่งที่มาและการทดสอบ ไม่ใช่ที่ตัวแนวคิดของชิป: จงซื้อสต็อกที่จัดเกรด ทดสอบ และมีเอกสารครบจากผู้ขายที่รับผิดชอบได้

เซิร์ฟเวอร์แบบ 8-GPU ต้องใช้ไฟเท่าไร

โหนด SXM เรือธงแบบ 8-GPU กินไฟราว 10 kW เมื่อมีโหลด ส่วนเครื่องแบบ PCIe กินน้อยกว่า แต่ก็ยังเกินระบบไฟสำนักงานทั่วไปอยู่มาก จงยืนยันกำลังไฟและการระบายความร้อนของสถานที่ก่อนสั่งซื้อ ไม่ใช่หลังของมาส่ง

อัปเกรดเซิร์ฟเวอร์ 4-GPU เป็น 8 GPU ภายหลังได้ไหม

บนแพลตฟอร์ม PCIe ทำได้ก็ต่อเมื่อแชสซี พาวเวอร์ซัพพลาย และการไหลของอากาศถูกกำหนดขนาดเผื่อไว้ตั้งแต่แรก ส่วนเบสบอร์ด SXM เป็นคอนฟิกตายตัว หากมีแนวโน้มจะขยาย ให้ซื้อแพลตฟอร์มที่ใหญ่กว่าพร้อมการ์ดจำนวนน้อยกว่า แล้วค่อย ๆ ใส่เพิ่มในภายหลัง