Οδηγός αγοράς GPU server: πώς να προδιαγράψετε, να προμηθευτείτε και να αναπτύξετε υλικό AI

Η αγορά ενός GPU server ανάγεται σε τέσσερις αποφάσεις με τη σωστή σειρά: αντιστοιχίστε την κατηγορία GPU στον φόρτο εργασίας, επιλέξτε form factor (PCIe ή SXM), αποφασίστε ανάμεσα σε καινούργιο και refurbished πυρίτιο, και επιλέξτε πλατφόρμα με την ισχύ, την ψύξη και τη συνδεσιμότητα που απαιτούν οι GPU. Αν η σειρά είναι σωστή, τα υπόλοιπα είναι μηχανική προμηθειών· αν αντιστραφεί (πρώτα η πλατφόρμα, τελευταίος ο φόρτος), αγοράζετε είτε υπερβολικά μεγάλο μηχάνημα είτε ένα που πνίγεται θερμικά.

Αυτός είναι ο κεντρικός οδηγός της σειράς μας για υποδομές AI και GPU. Αποτυπώνει τον τρόπο με τον οποίο πραγματικά προδιαγράφουμε και κοστολογούμε συστήματα GPU για αγοραστές στην AXISLINK, και παραπέμπει σε αναλυτικότερους οδηγούς για τιμές, κανόνες εξαγωγών και συγκρίσεις συγκεκριμένων μοντέλων καθώς αυτοί δημοσιεύονται.

Με μια ματιά

• Ο φόρτος εργασίας καθορίζει την κατηγορία GPU· όλα τα άλλα έπονται
• Οι μονάδες SXM δίνουν πλήρες εύρος ζώνης διασύνδεσης· οι κάρτες PCIe ανταλλάσσουν ταχύτητα με ευελιξία
• Οι refurbished GPU κέντρων δεδομένων μπορούν να μειώσουν δραστικά το κόστος αν η προέλευση είναι επαληθευμένη
• Ένας κόμβος 8 GPU είναι έργο ισχύος και ψύξης, όχι απλώς αγορά server
• Οι προηγμένοι επιταχυντές AI υπόκεινται σε ελέγχους εξαγωγών: σχεδιάστε τη συμμόρφωση πριν την παραγγελία
• Οι χρόνοι παράδοσης διαφέρουν ανά κανάλι· η δευτερογενής αγορά κινείται ταχύτερα από τις ουρές κατανομής

Ξεκινήστε από τον φόρτο εργασίας, όχι από την GPU

Η αγορά μιλά με αριθμούς μοντέλων GPU, αλλά η προδιαγραφή ξεκινά από το τι πρέπει να κάνει το μηχάνημα. Χονδρική αντιστοίχιση όπως έχει το τοπίο της τρέχουσας γενιάς:

Δύο πρακτικά πορίσματα. Πρώτον, οι ναυαρχίδες της προηγούμενης γενιάς παραμένουν πραγματικά χρήσιμες: ένα cluster A100 εξακολουθεί να εκπαιδεύει και να σερβίρει σοβαρά μοντέλα, σε κλάσμα της τιμής των σημερινών ναυαρχίδων στη δευτερογενή αγορά. Δεύτερον, η αγορά μεγαλύτερης GPU από όση χρειάζεται ο φόρτος δεν θωρακίζει τίποτα για το μέλλον αν πρώτα γίνει στενωπός η διασύνδεση, ο αποθηκευτικός χώρος ή το δίκτυο.

PCIe ή SXM: το δίλημμα του form factor

Η ίδια γενιά GPU συνήθως κυκλοφορεί σε δύο μορφές, και η επιλογή διαμορφώνει ολόκληρο τον server.

Ο ειλικρινής εμπειρικός κανόνας από τη δουλειά μας στις προσφορές: τα μηχανήματα inference ενός κόμβου και τα μικτά ερευνητικά κουτιά είναι συνήθως διατάξεις PCIe· τα σοβαρά clusters εκπαίδευσης πολλών GPU είναι διατάξεις SXM, και το πρόσθετο κόστος αγοράζει πραγματικό ρυθμό εκπαίδευσης και όχι έναν αριθμό στο φύλλο προδιαγραφών.

Καινούργιο ή refurbished: τι προσφέρει πραγματικά η δευτερογενής αγορά

Οι GPU κέντρων δεδομένων μπαίνουν στη δευτερογενή αγορά όταν οι hyperscalers και τα εργαστήρια AI ανανεώνουν τους στόλους τους. Αυτή η προσφορά κάνει τους επιταχυντές προηγούμενης γενιάς δραματικά φθηνότερους από τις νέες ναυαρχίδες, και έτσι πολλές ομάδες αποκτούν πραγματική υπολογιστική ισχύ. Τι ξεχωρίζει μια καλή αγορά refurbished από ένα στοίχημα:

• Προέλευση: ποιος δούλευε την κάρτα, σε ποιο περιβάλλον, γιατί αποσύρθηκε
• Δοκιμές: αποτελέσματα burn-in ανά κάρτα, όχι ανά παρτίδα, με ελέγχους μνήμης και θερμοκρασιών
• Διαβάθμιση κατάστασης δηλωμένη γραπτώς, με φωτογραφίες για μεταχειρισμένο απόθεμα
• Εγγύηση: δηλωμένο παράθυρο επιστροφής από τον πωλητή, αφού η κάλυψη του κατασκευαστή σπάνια μεταβιβάζεται
• Κατάσταση firmware και αδειών: κλειδωμένες ή δεσμευμένες σε προμηθευτή κάρτες υπάρχουν και πρέπει να γνωστοποιούνται

Αυτή είναι μια δουλειά προέλευσης. Ο λόγος που οι αγοραστές περνούν τις αγορές refurbished μέσα από έναν υπόλογο εμπορικό αντισυμβαλλόμενο αντί για μια αγγελία σε marketplace είναι ότι η επαλήθευση, η διαβάθμιση και η δυνατότητα προσφυγής είναι το πραγματικό προϊόν· το πυρίτιο είναι το ίδιο έτσι κι αλλιώς. Το απόθεμά μας σε GPU και επιταχυντές αναγράφει ρητά κατάσταση και διαβάθμιση ακριβώς για αυτόν τον λόγο.

Η πλατφόρμα: ο server γύρω από τις GPU

Οι GPU δεν λειτουργούν μόνες τους. Η απόφαση για την πλατφόρμα είναι το σημείο όπου οι προϋπολογισμοί σπάνε αθόρυβα.

Σασί και πυκνότητα

Συνηθισμένες μορφές: servers 2U που δέχονται 2 έως 4 κάρτες PCIe· πύργοι και σασί rack 4U/5U που δέχονται 4 έως 8 κάρτες PCIe με καλύτερη ροή αέρα· και ειδικές πλατφόρμες HGX 6U-8U που φέρουν 8 μονάδες SXM (κατηγορία Dell PowerEdge XE9680, κατηγορία HPE Cray, συστήματα HGX της Supermicro). Ένα σασί που χωράει τις κάρτες δεν είναι το ίδιο με ένα σασί που τις ψύχει σε παρατεταμένο φορτίο.

Η ισχύς είναι ο κρυφός περιορισμός

Ένας κόμβος ναυαρχίδα 8 GPU τραβά περί τα 10 kW υπό φορτίο. Αυτό ξεπερνά πολλά δωμάτια servers γραφείων και είναι σημαντικό μέρος του προϋπολογισμού ενός rack σε colocation. Πριν παραγγείλετε, επιβεβαιώστε το ενεργειακό περιθώριο του rack και τη χωρητικότητα των PDU, την ικανότητα ψύξης για τη θερμότητα που πράγματι παράγεται, και το αν η εγκατάσταση χρεώνει βάσει δεσμευμένης ισχύος. Πάνω από μία φορά έχουμε ξανακοστολογήσει αγοραστή από έναν κόμβο 8 GPU σε δύο κόμβους 4 GPU αποκλειστικά λόγω ορίων ισχύος της εγκατάστασης.

CPU, μνήμη, αποθήκευση, δίκτυο

Κανόνες ισορροπίας που ισχύουν σε όλες τις γενιές: μνήμη συστήματος τουλάχιστον ίση με τη συνολική μνήμη GPU (η διπλάσια είναι άνετη για εκπαίδευση)· scratch NVMe αρκετά γρήγορο ώστε οι GPU να τροφοδοτούνται συνεχώς· και για εκπαίδευση πολλών κόμβων, ένα fabric (Ethernet υψηλής ταχύτητας ή κατηγορίας InfiniBand) στο ύψος της φιλοδοξίας, γιατί μια υποσιτισμένη διασύνδεση αφήνει αργό το ακριβό πυρίτιο.

Έλεγχοι εξαγωγών: σχεδιάστε τη συμμόρφωση πριν παραγγείλετε

Οι προηγμένοι επιταχυντές AI υπόκεινται σε ελέγχους εξαγωγών, με προεξάρχοντες τους κανόνες του αμερικανικού Bureau of Industry and Security που περιορίζουν την αποστολή κορυφαίων GPU κέντρων δεδομένων προς ορισμένους προορισμούς. Τι σημαίνει αυτό στην πράξη για έναν αγοραστή:

• Η διαθεσιμότητα των κορυφαίων επιταχυντών διαφέρει ανά αγορά προορισμού· οι περιορισμένοι προορισμοί δεν μπορούν να παραλάβουν νόμιμα ορισμένα SKU
• Οι πωλητές θα ζητήσουν στοιχεία τελικού χρήστη και τελικής χρήσης για ελεγχόμενα μοντέλα· θεωρήστε το ένδειξη νόμιμου αντισυμβαλλόμενου, όχι εμπόδιο
• Οι κανονισμοί αλλάζουν· την αποστολή σας διέπει το ισχύον σύνολο κανόνων, όχι η περσινή περίληψη

Το δηλώνουμε καθαρά στους δικούς μας όρους: οι παραγγελίες ενδέχεται να απαιτούν στοιχεία τελικού χρήστη, και αρνούμαστε συναλλαγές που δεν μπορούν να εκτελεστούν νόμιμα. Ένας ειδικός οδηγός αυτής της σειράς αναλύει τους κανόνες για αγοραστές του εξωτερικού σε μεγαλύτερο βάθος.

Κανάλια προμήθειας και χρόνοι παράδοσης

Τρία ευρέα κανάλια τροφοδοτούν με συστήματα GPU. Η κατανομή OEM (παραγγελία διαμορφωμένου συστήματος μέσω καναλιών Dell, HPE, Supermicro ή Lenovo) δίνει καινούργια συστήματα με εγγύηση, με χρόνους παράδοσης που τεντώνονται όταν η ζήτηση εκτοξεύεται. Η δευτερογενής και refurbished αγορά κινείται ταχύτερα και τιμολογεί ελκυστικά τις προηγούμενες γενιές, με την ποιότητα να στηρίζεται εξ ολοκλήρου στην επαλήθευση. Εμπορικές εταιρείες σαν τη δική μας δραστηριοποιούνται και στα δύο: προμηθεύονται καινούργιες ή refurbished GPU και πλατφόρμες, τις επαληθεύουν και τις ενοποιούν, και τις αποστέλλουν με έγγραφα εξαγωγής από το Χονγκ Κονγκ ή την ηπειρωτική Κίνα. Ποιο κανάλι κερδίζει εξαρτάται από το αν ο περιορισμός σας είναι ο προϋπολογισμός, ο χρόνος παράδοσης ή η κάλυψη εγγύησης.

Ένα αναλυμένο παράδειγμα της διαδρομής απόφασης

Ένας αγοραστής θέλει να κάνει fine-tuning σε ανοιχτά μοντέλα μεσαίου μεγέθους και να τα σερβίρει σε μερικές χιλιάδες χρήστες. Διαδρομή απόφασης: ο φόρτος είναι μικτός, εκπαίδευση και inference· η χωρητικότητα μνήμης μετράει περισσότερο από την αιχμή της διασύνδεσης, οπότε 4 έως 8 επιταχυντές PCIe κατηγορίας H100/A100 κερδίζουν ένα baseboard SXM στο κόστος· refurbished κάρτες A100 80GB με τεκμηριωμένη προέλευση μειώνουν στο μισό τον προϋπολογισμό πυριτίου· η πλατφόρμα είναι σασί 4U με εφεδρική τροφοδοσία και scratch NVMe· ο έλεγχος της εγκατάστασης επιβεβαιώνει ότι το rack μπορεί να το τροφοδοτήσει. Αυτή είναι μια πλήρης, υπερασπίσιμη προδιαγραφή, και κάθε βήμα της είναι μια συζήτηση που κάνουμε με αγοραστές κάθε εβδομάδα.

Συχνές ερωτήσεις

Ποια είναι η διαφορά ενός GPU server από έναν κανονικό server;

Ένας GPU server είναι χτισμένος γύρω από την ισχύ και την ψύξη των επιταχυντών: τροφοδοτικά υψηλότερης ισχύος, ροή αέρα σχεδιασμένη για κάρτες ή μονάδες σε παρατεταμένο φορτίο, και τοπολογία PCIe ή SXM για τη διασύνδεσή τους. Ένας κανονικός server μπορεί ενίοτε να δεχθεί μία ή δύο κάρτες· ένας GPU server σχεδιάζεται για πλήρη διάταξη.

Να αγοράσω ή να νοικιάσω υπολογιστική ισχύ GPU;

Η ενοικίαση κερδίζει για δουλειά με εξάρσεις ή εξερευνητική· η ιδιοκτησία κερδίζει όταν η αξιοποίηση είναι συνεχής, όταν μετράει η βαρύτητα των δεδομένων ή το απόρρητο, ή όταν οι τιμές GPU του cloud ξεπερνούν το αποσβεσμένο κόστος υλικού για τον δικό σας κύκλο χρήσης. Πολλές ομάδες νοικιάζουν για πρωτότυπα και αγοράζουν για παραγωγή. Ξεχωριστός οδηγός της σειράς κάνει αναλυτικά τους υπολογισμούς.

Είναι αξιόπιστες οι refurbished GPU κέντρων δεδομένων;

Οι κάρτες κέντρων δεδομένων είναι σχεδιασμένες για συνεχή λειτουργία, και οι σωστά αποσυρμένες κάρτες στόλων με αποτελέσματα δοκιμών ανά κάρτα έχουν μεγάλη ωφέλιμη ζωή. Ο κίνδυνος συγκεντρώνεται στην προέλευση και στις δοκιμές, όχι στην ίδια την ιδέα του πυριτίου: αγοράστε διαβαθμισμένο, δοκιμασμένο, τεκμηριωμένο απόθεμα από υπόλογο πωλητή.

Πόση ισχύ χρειάζεται ένας server 8 GPU;

Οι κορυφαίοι κόμβοι SXM 8 GPU τραβούν περί τα 10 kW υπό φορτίο· οι διατάξεις PCIe λιγότερο, αλλά και πάλι πολύ πέρα από τη συνηθισμένη καλωδίωση γραφείου. Επιβεβαιώστε ισχύ και ψύξη της εγκατάστασης πριν την παραγγελία, όχι μετά την παράδοση.

Μπορώ να αναβαθμίσω αργότερα έναν server 4 GPU σε 8 GPU;

Σε πλατφόρμες PCIe, μόνο αν το σασί, τα τροφοδοτικά και η ροή αέρα διαστασιολογήθηκαν γι αυτό εξαρχής. Τα baseboards SXM είναι σταθερές διαμορφώσεις. Αν η ανάπτυξη είναι πιθανή, αγοράστε τη μεγαλύτερη πλατφόρμα με λιγότερες κάρτες και συμπληρώστε τη με τον καιρό.