GPU सर्वर ख़रीद गाइड: AI हार्डवेयर कैसे चुनें, सोर्स करें और तैनात करें

GPU सर्वर खरीदना सही क्रम में लिए गए चार निर्णयों पर टिका है: GPU वर्ग को वर्कलोड से मिलाना, फ़ॉर्म फ़ैक्टर चुनना (PCIe या SXM), नए और रीफ़र्बिश्ड सिलिकॉन के बीच फ़ैसला करना, और ऐसा प्लैटफ़ॉर्म चुनना जिसकी बिजली, कूलिंग और कनेक्टिविटी GPU की माँग पूरी कर सके। क्रम सही रखें तो बाक़ी सब ख़रीद की सामान्य प्रक्रिया है; क्रम उलट दें (पहले प्लैटफ़ॉर्म, आख़िर में वर्कलोड) तो या तो ज़रूरत से बड़ी मशीन खरीदेंगे या ऐसी मशीन जो थ्रॉटल होती है।

यह हमारी AI और GPU इन्फ्रास्ट्रक्चर श्रृंखला की केंद्रीय (हब) गाइड है। यह दिखाती है कि AXISLINK में हम खरीदारों के लिए GPU सिस्टम वास्तव में कैसे तय और कोट करते हैं, और जैसे-जैसे श्रृंखला की अन्य गाइडें प्रकाशित होंगी, यह क़ीमतों, निर्यात नियमों और विशिष्ट मॉडल तुलनाओं पर गहरे लेखों से जुड़ती जाएगी।

एक नज़र में

• वर्कलोड ही GPU वर्ग तय करता है; बाक़ी सब उसी से निकलता है
• SXM मॉड्यूल पूरी इंटरकनेक्ट बैंडविड्थ देते हैं; PCIe कार्ड गति के बदले लचीलापन देते हैं
• रीफ़र्बिश्ड डेटासेंटर GPU, यदि उद्गम (प्रोविनेंस) सत्यापित हो, लागत में भारी कटौती कर सकते हैं
• 8 GPU वाला नोड बिजली और कूलिंग की परियोजना है, सिर्फ़ एक सर्वर ख़रीद नहीं
• उन्नत AI एक्सेलेरेटर निर्यात नियंत्रण के दायरे में हैं: ऑर्डर से पहले अनुपालन की योजना बनाएं
• लीड टाइम चैनल के हिसाब से बदलता है; सेकेंडरी मार्केट आवंटन क़तारों से तेज़ चलता है

शुरुआत वर्कलोड से करें, GPU से नहीं

बाज़ार GPU मॉडल नंबरों की भाषा बोलता है, लेकिन स्पेसिफ़िकेशन की शुरुआत इससे होती है कि मशीन को करना क्या है। मौजूदा पीढ़ी के परिदृश्य के हिसाब से मोटा मिलान:

दो व्यावहारिक निष्कर्ष। पहला, पिछली पीढ़ी के फ़्लैगशिप वाक़ई उपयोगी बने हुए हैं: A100 क्लस्टर आज भी गंभीर मॉडलों को ट्रेन और सर्व करता है, और सेकेंडरी मार्केट में मौजूदा फ़्लैगशिप की क़ीमत के एक अंश पर मिलता है। दूसरा, वर्कलोड की ज़रूरत से बड़ा GPU खरीदना भविष्य की कोई गारंटी नहीं देता, अगर इंटरकनेक्ट, स्टोरेज या नेटवर्क पहले अड़चन बन जाए।

PCIe या SXM: फ़ॉर्म फ़ैक्टर का दोराहा

एक ही GPU पीढ़ी आमतौर पर दो रूपों में आती है, और यह चुनाव पूरे सर्वर की दिशा तय करता है।

हमारे कोटेशन के काम से निकला ईमानदार अनुभव-नियम: सिंगल-नोड इन्फ़रेंस और मिश्रित शोध मशीनें आमतौर पर PCIe बिल्ड होती हैं; गंभीर मल्टी-GPU ट्रेनिंग क्लस्टर SXM बिल्ड होते हैं, और अतिरिक्त क़ीमत से असली ट्रेनिंग थ्रूपुट मिलता है, स्पेक-शीट का कोई आँकड़ा नहीं।

नया या रीफ़र्बिश्ड: सेकेंडरी मार्केट वास्तव में क्या देता है

जब हाइपरस्केलर और AI लैब अपने बेड़े बदलते हैं, तब डेटासेंटर GPU सेकेंडरी मार्केट में आते हैं। इस आपूर्ति से पिछली पीढ़ी के एक्सेलेरेटर नए फ़्लैगशिप से नाटकीय रूप से सस्ते हो जाते हैं, और कई टीमें वास्तविक क्षमता इसी तरह जुटा पाती हैं। एक अच्छी रीफ़र्बिश्ड ख़रीद को जुए से अलग करने वाली चीज़ें:

• उद्गम: कार्ड किसने चलाया, किस वातावरण में, और किस वजह से सेवा से हटाया गया
• परीक्षण: बैच नहीं बल्कि प्रति कार्ड बर्न-इन नतीजे, मेमोरी और थर्मल जाँच के साथ
• लिखित रूप में घोषित कंडीशन ग्रेडिंग, इस्तेमाल हुए स्टॉक की तस्वीरों समेत
• वारंटी: विक्रेता की ओर से घोषित रिटर्न विंडो, क्योंकि निर्माता की कवरेज शायद ही स्थानांतरित होती है
• फ़र्मवेयर और लाइसेंसिंग स्थिति: लॉक्ड या वेंडर से बंधे कार्ड मौजूद होते हैं और उनका खुलासा ज़रूरी है

यह उद्गम का कारोबार है। खरीदार रीफ़र्बिश्ड ख़रीद किसी मार्केटप्लेस लिस्टिंग के बजाय जवाबदेह ट्रेडिंग काउंटरपार्टी के ज़रिए इसलिए करते हैं क्योंकि सत्यापन, ग्रेडिंग और उपचार-मार्ग ही असली उत्पाद हैं; सिलिकॉन दोनों जगह एक जैसा है। हमारा GPU और एक्सेलेरेटर स्टॉक ठीक इसी वजह से कंडीशन और ग्रेडिंग स्पष्ट रूप से दर्ज करता है।

प्लैटफ़ॉर्म: GPU के इर्द-गिर्द का सर्वर

GPU अपने आप नहीं चलते। प्लैटफ़ॉर्म का निर्णय ही वह जगह है जहाँ बजट चुपचाप टूटते हैं।

चेसिस और घनत्व

आम आकार: 2U सर्वर जिनमें 2 से 4 PCIe कार्ड लगते हैं; बेहतर एयरफ़्लो वाले 4U/5U टावर और रैक चेसिस जिनमें 4 से 8 PCIe कार्ड लगते हैं; और 8 SXM मॉड्यूल ढोने वाले विशेष 6U-8U HGX प्लैटफ़ॉर्म (Dell PowerEdge XE9680 वर्ग, HPE Cray वर्ग, Supermicro HGX सिस्टम)। जिस चेसिस में कार्ड समा जाएँ, वह वही चेसिस नहीं है जो लगातार लोड पर उन्हें ठंडा रख सके।

बिजली छिपी हुई बाधा है

8 GPU वाला फ़्लैगशिप नोड लोड पर लगभग 10 kW खींचता है। यह कई दफ़्तरों के सर्वर रूम की क्षमता से बाहर है और कोलोकेशन में रैक बजट का बड़ा हिस्सा है। ऑर्डर से पहले रैक का पावर बजट और PDU क्षमता, वास्तव में पैदा होने वाली गर्मी के लिए कूलिंग क्षमता, और यह पुष्टि करें कि सुविधा प्रोविज़न की गई बिजली के हिसाब से शुल्क लेती है या नहीं। एक से अधिक बार हमने केवल सुविधा की बिजली सीमाओं के कारण खरीदार का कोटेशन एक 8 GPU नोड से बदलकर दो 4 GPU नोड कर दिया है।

CPU, मेमोरी, स्टोरेज, नेटवर्क

पीढ़ियों के पार टिकने वाले संतुलन नियम: सिस्टम मेमोरी कम से कम कुल GPU मेमोरी के बराबर हो (ट्रेनिंग के लिए दोगुनी हो तो आराम रहता है); NVMe स्क्रैच इतना तेज़ हो कि GPU को लगातार डेटा मिलता रहे; और मल्टी-नोड ट्रेनिंग के लिए महत्वाकांक्षा के अनुरूप फ़ैब्रिक (हाई-स्पीड ईथरनेट या InfiniBand वर्ग), क्योंकि भूखा इंटरकनेक्ट महँगे सिलिकॉन को बेकार बैठा देता है।

निर्यात नियंत्रण: ऑर्डर से पहले अनुपालन की योजना बनाएं

उन्नत AI एक्सेलेरेटर निर्यात नियंत्रण के अधीन हैं, जिनमें सबसे प्रमुख अमेरिकी Bureau of Industry and Security के वे नियम हैं जो शीर्ष श्रेणी के डेटासेंटर GPU की कुछ गंतव्यों को शिपमेंट सीमित करते हैं। खरीदार के लिए व्यवहार में इसका मतलब:

• फ़्लैगशिप एक्सेलेरेटर की उपलब्धता गंतव्य बाज़ार के अनुसार अलग होती है; प्रतिबंधित गंतव्य कुछ SKU क़ानूनी रूप से प्राप्त नहीं कर सकते
• नियंत्रित मॉडलों पर विक्रेता एंड-यूज़र और एंड-यूज़ की जानकारी माँगेंगे; इसे क़ानूनी काउंटरपार्टी की निशानी मानें, अड़चन नहीं
• नियम बदलते रहते हैं; आपकी शिपमेंट पर मौजूदा नियम लागू होते हैं, पिछले साल का सारांश नहीं

हम अपनी शर्तों में यह साफ़ लिखते हैं: ऑर्डर के लिए एंड-यूज़र जानकारी ज़रूरी हो सकती है, और जो लेनदेन क़ानूनी रूप से पूरे नहीं किए जा सकते, उन्हें हम अस्वीकार करते हैं। इस श्रृंखला की एक समर्पित गाइड विदेशी खरीदारों के लिए इन नियमों को और गहराई से खोलती है।

सोर्सिंग चैनल और लीड टाइम

GPU सिस्टम की आपूर्ति मोटे तौर पर तीन चैनलों से होती है। OEM आवंटन (Dell, HPE, Supermicro या Lenovo चैनलों से कॉन्फ़िगर किया सिस्टम मँगाना) वारंटी-समर्थित नए सिस्टम देता है, पर माँग बढ़ते ही लीड टाइम खिंच जाता है। सेकेंडरी और रीफ़र्बिश्ड मार्केट सबसे तेज़ चलता है और पिछली पीढ़ियों की आकर्षक क़ीमत लगाता है, जहाँ गुणवत्ता पूरी तरह सत्यापन पर टिकी होती है। हमारे जैसी ट्रेडिंग कंपनियाँ दोनों के बीच काम करती हैं: नए या रीफ़र्बिश्ड GPU और प्लैटफ़ॉर्म सोर्स करना, उन्हें सत्यापित और समेकित करना, और हांगकांग या मुख्य भूमि चीन से निर्यात दस्तावेज़ों के साथ शिप करना। कौन सा चैनल जीतेगा, यह इस पर निर्भर है कि आपकी बाधा बजट है, लीड टाइम है या वारंटी कवरेज।

निर्णय पथ का एक हल किया हुआ उदाहरण

एक खरीदार मध्यम आकार के ओपन मॉडलों को फ़ाइन-ट्यून करके कुछ हज़ार उपयोगकर्ताओं तक पहुँचाना चाहता है। निर्णय पथ: वर्कलोड ट्रेनिंग और इन्फ़रेंस का मिश्रण है; चरम इंटरकनेक्ट से ज़्यादा मेमोरी क्षमता मायने रखती है, इसलिए H100/A100 वर्ग के 4 से 8 PCIe एक्सेलेरेटर लागत में SXM बेसबोर्ड से आगे निकल जाते हैं; प्रलेखित उद्गम वाले रीफ़र्बिश्ड A100 80GB कार्ड सिलिकॉन बजट आधा कर देते हैं; प्लैटफ़ॉर्म है रिडंडेंट पावर और NVMe स्क्रैच वाला 4U चेसिस; सुविधा की जाँच पुष्टि करती है कि रैक इसे बिजली दे सकता है। यही एक संपूर्ण, टिकाऊ स्पेसिफ़िकेशन है, और इसका हर क़दम वह बातचीत है जो हम हर हफ़्ते खरीदारों से करते हैं।

अक्सर पूछे जाने वाले प्रश्न

GPU सर्वर और सामान्य सर्वर में क्या अंतर है?

GPU सर्वर एक्सेलेरेटर की बिजली और कूलिंग के इर्द-गिर्द बनाया जाता है: अधिक वाट क्षमता की पावर सप्लाई, लगातार लोड पर चलने वाले कार्डों या मॉड्यूलों के लिए डिज़ाइन किया एयरफ़्लो, और उन्हें जोड़ने वाली PCIe या SXM टोपोलॉजी। सामान्य सर्वर कभी-कभी एक या दो कार्ड ले सकता है; GPU सर्वर पूरी क्षमता के लिए डिज़ाइन किया जाता है।

GPU कंप्यूट खरीदना चाहिए या किराए पर लेना चाहिए?

अनियमित या खोजपरक काम के लिए किराया जीतता है; जब उपयोग निरंतर हो, डेटा ग्रैविटी या निजता मायने रखे, या क्लाउड GPU की क़ीमत आपके उपयोग चक्र में हार्डवेयर की परिशोधित लागत से अधिक हो जाए, तब ख़रीद जीतती है। कई टीमें प्रोटोटाइप किराए पर बनाती हैं और उत्पादन के लिए खरीदती हैं। इस श्रृंखला की एक अलग गाइड यह पूरा हिसाब समझाती है।

क्या रीफ़र्बिश्ड डेटासेंटर GPU भरोसेमंद हैं?

डेटासेंटर कार्ड निरंतर संचालन के लिए इंजीनियर किए जाते हैं, और सही तरीक़े से सेवा-मुक्त हुए, प्रति कार्ड परीक्षण नतीजों वाले फ़्लीट कार्डों की उपयोगी उम्र लंबी होती है। जोखिम उद्गम और परीक्षण में केंद्रित है, सिलिकॉन की अवधारणा में नहीं: जवाबदेह विक्रेता से ग्रेडेड, परीक्षित, प्रलेखित स्टॉक खरीदें।

8 GPU सर्वर को कितनी बिजली चाहिए?

फ़्लैगशिप 8 GPU SXM नोड लोड पर लगभग 10 kW खींचते हैं; PCIe बिल्ड कम, पर फिर भी सामान्य दफ़्तर की वायरिंग से कहीं ज़्यादा। सुविधा की बिजली और कूलिंग की पुष्टि ऑर्डर से पहले करें, डिलीवरी के बाद नहीं।

क्या मैं 4 GPU सर्वर को बाद में 8 GPU में अपग्रेड कर सकता हूँ?

PCIe प्लैटफ़ॉर्म पर केवल तभी, जब चेसिस, पावर सप्लाई और एयरफ़्लो शुरुआत से ही इसके हिसाब से रखे गए हों। SXM बेसबोर्ड स्थिर कॉन्फ़िगरेशन होते हैं। अगर विस्तार की संभावना है, तो बड़ा प्लैटफ़ॉर्म कम कार्डों के साथ खरीदें और समय के साथ भरते जाएँ।