Η Nvidia παρουσιάζει το Blackwell B200 GPU, τo "ισχυρότερο ΑΙ chip" στον πλανήτη

[nchatz]

Με το B200, η Nvidia αναμένεται να ενισχύσει περαιτέρω την πρωτοκαθεδρία της στον τομέα της παραγωγής υλικού εξοπλισμού για την ανάπτυξη μοντέλων τεχνητής νοημοσύνης.

Το εξαιρετικά δημοφιλές H100 AI chip της Nvidia την κατέστησε εταιρία με χρηματιστηριακή αποτίμηση τρισεκατομμυρίων δολαρίων, ξεπερνώντας ενδεχομένως κολοσσούς όπως η Alphabet και η Amazon, ενώ ο ανταγωνισμός προσπαθεί έκτοτε να καλύψει την απόσταση που τον χωρίζει από την πρωτοπόρο Nvidia. Ήδη, όμως, αναλυτές εικάζουν ότι το προβάδισμα της Nvidia είναι πολύ πιθανό να ενισχυθεί, χάρη στο νέο Blackwell B200 GPU και GB200 "superchip".

Ο Τζένσεν Χουάνγκ, διευθύνων σύμβουλος της Nvidia, κρατάει το νέο GPU στα αριστερά, δίπλα σε ένα H100 στα δεξιά, στη διάρκεια του GTC livestream.

H Nvidia ανακοίνωσε ότι το νέο B200 GPU προσφέρει έως και 20 petaflop υπολογιστικής ισχύος, από τα 208 δισεκατομμύρια τρανζίστορ του. Παράλληλα, παρουσιάστηκε το GB200, το οποίο συνδυάζει δύο B200 σε μία ενιαία μονάδα Grace GPU, ικανό να προσφέρει επιδόσεις 30 φορές μεγαλύτερες, για φορτία LLM, ενώ θα μπορούσε να αποδειχτεί και σημαντικά αποδοτικότερο. Η νέα πρόταση της Nvidia, σύμφωνα με την ανακοίνωση της εταιρίας, "περιορίζει το κόστος και την κατανάλωση ενέργειας έως και 25 φορές" σε σχέση με ένα H100.

Η εκπαίδευση ενός μοντέλου 1,8 τρισεκατομμυρίων παραμέτρων θα απαιτούσε έως τώρα 8.000 Hopper GPU και 15 megawatt ενέργειας, όπως υποστηρίζει η Nvidia. Πλέον, ο διευθύνων σύμβουλος της εταιρίας αναφέρει πως 2.000 Blackwell GPU μπορούν να πετύχουν το ίδιο αποτέλεσμα, καταναλώνοντας μόλις 4 megawatt ενέργειας.

Σε ένα benchmark LLM σε GPT-3 με 175 δισεκατομμύρια παραμέτρους, η Nvidia υποστηρίζει ότι το GB200 αποδίδει "μόλις" επτά φορές καλύτερα από ό,τι ένα Η100, ενώ προσφέρει τέσσερις φορές μεγαλύτερη ταχύτητα εκπαίδευσης.

Ένα GB200 από κοντά: δύο GPU, μία CPU, μία μητρική.

Όπως ανέφερε η Nvidia στους δημοσιογράφους που παραβρέθηκαν στην παρουσίαση, μία από τις βασικές βελτιώσεις είναι η δεύτερης γενιάς transformer engine, η οποία διπλασιάζει τις υπολογιστικές δυνατότητες, το εύρος ζώνης και το μέγεθος του μοντέλου, χρησιμοποιώντας τέσσερα bits για κάθε νευρώνα, αντί για οκτώ (εξ ου και τα 20 petaflop FP4 που αναφέρθηκαν νωρίτερα). Μια δεύτερη βασική διαφορά καταγράφεται μόνο όταν συνδεθεί ένας τεράστιος αριθμός τέτοιων GPU: προκύπτει ένα νέας γενιάς NVLink, το οποίο επιτρέπει σε 576 GPU να επικοινωνούν μεταξύ τους, μέσα από 1,8 terabyte ανά δευτερόλεπτο αμφίδρομου εύρους ζώνης.

Η εξέλιξη αυτή υποχρέωσε τη Nvidia να δημιουργήσει ένα εντελώς νέο chip που λειτουργεί ως δικτυακός διακόπτης, με 50 δισεκατομμύρια τρανζίστορ και ανεξάρτητη υπολογιστική ισχύ: 3,6 teraflop στα FP8, όπως αναφέρει στην ανακοίνωσή της η εταιρία.

Η Nvidia ανακοίνωσε ότι προσθέτει τόσο FP4 όσο και FP6 με το Blackwell.

 Έως τώρα, όπως αναφέρει η Nvidia, ένα σύνολο μόλις 16 GPU θα δαπανούσε το 60% του χρόνου του επικοινωνώντας εσωτερικά, και μόλις το 40% εκτελώντας υπολογισμούς.

Η Nvidia ποντάρει στο ότι οι νέες GPU θα αγοραστούν μαζικά από τις ενδιαφερόμενες εταιρίες, επομένως τις ενσωματώνει σε μεγαλύτερες διατάξεις, όπως το GB200 NVL72, ικανό να υποδεχτεί 36 και 72 GPU σε μία υδρόψυκτη συστοιχία, αποδίδοντας συνολικά 720 teraflop για την εκπαίδευση ενός μοντέλου τεχνητής νοημοσύνης ή 1.440 petaflop (αλλιώς 1,4 exaflop) εξαγωγής συμπερασμάτων. Η μονάδα περιέχει περίπου τρία χιλιόμετρα εσωτερικής καλωδίωσης, αποτελούμενης από 5.000 καλώδια.

Το GB200 NVL72.

Κάθε θέση υποδοχής περιέχει είτε δύο chip GB200, είτε δύο διακόπτες NVLink, 18 από το πρώτο και εννέα από δεύτερο ανά μονάδα. Συνολικά, η Nvidia αναφέρει πως μία από αυτές τις μονάδες είναι ικανή να υποστηρίξει ένα μοντέλο 27 τρισεκατομμυρίων παραμέτρων. Το GPT-4 φημολογείται πως είναι μοντέλο της τάξης των 1,7 τρισεκατομμυρίων παραμέτρων περίπου.

H Nvidia ανακοίνωσε ότι Amazon, Google, Microsoft και Oracle ήδη σχεδιάζουν να προσφέρουν τις μονάδες NVL72 στις υπηρεσίες cloud που παρέχουν, αν και δεν είναι ακόμη σαφές πόσες από αυτές πρόκειται να αγοράσουν.

Προφανώς, η Nvidia είναι κάτι περισσότερο από πρόθυμη να προσφέρει στις εταιρίες ένα πλήρες πακέτο προτάσεων. Στην παρακάτω φωτογραφία, για παράδειγμα, βλέπουμε το DGX Superpod για το DGX GB200, που συνδυάζει οκτώ συστήματα σε ένα, αριθμώντας συνολικά 288 GPU, 576 CPU, 240TB μνήμης και 11,5 exaflop υπολογιστικής ισχύος.

Η Nvidia αναφέρει πως τα συστήματά της μπορούν να υποστηρίξουν δεκάδες χιλιάδες GB200 superchip, τα οποία επικοινωνούν μέσω δικτύου 800Gbps, χάρη στο νέο Quantum-X800 InfiniBand (για έως και 144 συνδέσεις) ή το Spectrum-X800 ethernet (για έως 64 συνδέσεις).

Δεν αναμένεται να υπάρξουν μέσα στην ημέρα ανακοινώσεις για νέες gaming GPU, καθώς οι πληροφορίες αυτές προέρχονται από το τεχνολογικό συνέδριο της εταιρίας, το οποίο συνήθως είναι αποκλειστικά αφιερωμένο στο GPU computing και την τεχνητή νοημοσύνη, όχι το gaming. Όμως, η αρχιτεκτονική Blackwell πιθανότατα θα χρησιμοποιηθεί προκειμένου να υποστηρίξει τη μελλοντική σειρά καρτών RTX 50 για desktop gaming. 

Διαβάστε ολόκληρο το άρθρο

[Mushimushi]

Θα φτιάξουν και το HAL9000 σε λίγο.

[ontariyo]

κοιτα το μονο που θα με οικανοποιουσε σε αυτη την τραγωδια ειναι να εβλεπα αγωνα¨

2 ΑΙ να παιζουν σκακι μεταξυ τους και προς το τελος να εξουδετερωνει το ενα τ αλλο.

αμ πως

[StavrosD]

Αυτό που μου έκανε εντύπωση είναι η μνήμη.

NVIDIA GB200 Grace Blackwell Superchip: 864GB HBM3E memory, 16TB/sec memory bandwidth (https://www.tweaktown.com/news/96956/nvidia-gb200-grace-blackwell-superchip-864gb-hbm3e-memory-16tb-sec-bandwidth/index.html).

Έχει την μνήμη που έχουν 36 4090 RTX και 16 φορές το bandwidth!!!

Μπορεί να μην σας φαίνεται πολύ αλλά για entry level professionals η διαφορά είναι τεράστια!

Κατέβασα το Grok της x.ai και για πρώτη φορά σήκωσα τα χέρια, δεν μπορώ να τρέξω το μοντέλο. Έχει μέγεθος περίπου 300GB, ακόμα και 256GB ram να βάλω θα πρέπει να εγκαταστήσω και τουλάχιστον 3 κάρτες γραφικών με τουλάχιστον 24GB RAM έκαστη.

Στο GB200 τρέχει άνετα το Grok και σίγουρα θα είναι πολύ πιο future proof από τα σημερινά μοντέλα.

Αν είμαι τυχερός θα βρω καμιά Α100 από κανένα παρωχημένο datacenter σε κανά χρόνο.

 

Επεξ/σία 19 Μαρτίου από StavrosD

[absoluteblade]

58 minutes ago, StavrosD said:

Αυτό που μου έκανε εντύπωση είναι η μνήμη.

NVIDIA GB200 Grace Blackwell Superchip: 864GB HBM3E memory, 16TB/sec memory bandwidth (https://www.tweaktown.com/news/96956/nvidia-gb200-grace-blackwell-superchip-864gb-hbm3e-memory-16tb-sec-bandwidth/index.html).

Έχει την μνήμη που έχουν 36 4090 RTX και 16 φορές το bandwidth!!!

Μπορεί να μην σας φαίνεται πολύ αλλά για entry level professionals η διαφορά είναι τεράστια!

Κατέβασα το Grok της x.ai και για πρώτη φορά σήκωσα τα χέρια, δεν μπορώ να τρέξω το μοντέλο. Έχει μέγεθος περίπου 300GB, ακόμα και 256GB ram να βάλω θα πρέπει να εγκαταστήσω και τουλάχιστον 3 κάρτες γραφικών με τουλάχιστον 24GB RAM έκαστη.

Στο GB200 τρέχει άνετα το Grok και σίγουρα θα είναι πολύ πιο future proof από τα σημερινά μοντέλα.

Αν είμαι τυχερός θα βρω καμιά Α100 από κανένα παρωχημένο datacenter σε κανά χρόνο.

Πες και σε ποιο τομέα το χρησιμοποιείς,  επιγραμματικά, αν επιτρέπεται!

[john_dr]

Πανίσχυρο μεν, αλλά δεν θα έλεγα ότι έφτιαξαν και κανένα τέρας. Απλά πήραν την κόλλα και κόλλησαν δύο πυρήνες μαζί. Όταν αρχίσουν να παίζουν με chiplets και πάνε στα 3nm ή στα 2nm, εκεί θα παρουσιάσουν πραγματικά τέρατα.

[6xXx6]

Στο cod πόσα fps πιάνει ? Να σου πω άμα είναι καλό 

[Innersense]

Να ρωτήσω ρε παιδιά. Αυτά που έχουν ξεκινήσει να λένε ως ΑΙ chip είναι τα λεγόμενα NPU (ή η εξέλιξη αυτών) που υπάρχουν στα κινητά μας τα τελευταία 5 χρόνια;

[Psycho_Warhead]

8 ώρες πριν, john_dr είπε

Πανίσχυρο μεν, αλλά δεν θα έλεγα ότι έφτιαξαν και κανένα τέρας. Απλά πήραν την κόλλα και κόλλησαν δύο πυρήνες μαζί. Όταν αρχίσουν να παίζουν με chiplets και πάνε στα 3nm ή στα 2nm, εκεί θα παρουσιάσουν πραγματικά τέρατα.

Πάντα συγκρίνεις με τον ανταγωνισμό και ναι το B100 είναι κτήνος. AI = NVIDIA προς το παρόν, οι υπόλοιποι απλά ακολουθούν..

[Aten-Ra]

3 minutes ago, Psycho_Warhead said:

Πάντα συγκρίνεις με τον ανταγωνισμό και ναι το B100 είναι κτήνος. AI = NVIDIA προς το παρόν, οι υπόλοιποι απλά ακολουθούν..

Αν συγκρίνεις δυο Η100 με ένα Β100 (Dual Die) δεν έχουν τόσο μεγάλες διαφορές, απλά το Β100 έχει και FP4 που δεν είχε το Η100.

[bobos73]

Υδρόψυκτο κιόλας! Κάνα 5-6 τέτοια θα καταναλώνουν ενέργεια ίση με την ενέργεια που καταναλώνει το Las Vegas !!! η υπερθέρμανση του πλανήτη για τέτοια δεν ισχύει ,αλλά για κάτι άλλες βλακείες μια χαρά ισχύει… που να βγάλεις άκρη σε τούτο τον τρελό κόσμο…. Έχει χαθεί το μέτρο σε όλα!

[Aten-Ra]

7 minutes ago, bobos73 said:

Υδρόψυκτο κιόλας! Κάνα 5-6 τέτοια θα καταναλώνουν ενέργεια ίση με την ενέργεια που καταναλώνει το Las Vegas !!! η υπερθέρμανση του πλανήτη για τέτοια δεν ισχύει ,αλλά για κάτι άλλες βλακείες μια χαρά ισχύει… που να βγάλεις άκρη σε τούτο τον τρελό κόσμο…. Έχει χαθεί το μέτρο σε όλα!

Το perf/watt μας ενδιαφέρει και όχι αν χρησιμοποιούν υδρόψυξη.

[thanosAIAS]

Μας ξέχασες τους gamers παλιορουφιάνα...εμείς σε φτιάξαμε μωρη!

 

[Psycho_Warhead]

Μόλις τώρα, thanosAIAS είπε

Μας ξέχασες τους gamers παλιορουφιάνα...εμείς σε φτιάξαμε μωρη!

 

Πάντα φέρνει τις επαγγελματικές πρώτα και μετά τις gaming οι οποίες αναμένονται τέλος του έτους.

[thanosAIAS]

1 λεπτό πριν, Psycho_Warhead είπε

Πάντα φέρνει τις επαγγελματικές πρώτα και μετά τις gaming οι οποίες αναμένονται τέλος του έτους.

Ναι, απλά λέω για το ότι έχει δώσει τόση έμφαση στο ΑΙ...λογικό, έχει ξεχιλισει χρήμα...αφού πλέον αυτοπροσδιορίζεται ως ΑΙ company.