Ο νέος επιταχυντής AI της Intel, Gaudi 3, υπόσχεται υψηλότερη απόδοση και ενεργειακή αποδοτικότητα από τον NVIDIA H100

[polemikos]

Κατά τη διάρκεια της εκδήλωσης Vision 2024, η Intel ανακοίνωσε τον πλέον σύγχρονο επιταχυντή Τεχνητής Νοημοσύνης «Gaudi 3» υποσχόμενος σημαντικές βελτιώσεις σε σχέση με τον προκάτοχό του.

Η Intel ισχυρίζεται ότι ο επιταχυντής «Gaudi 3» προσφέρει έως και 70% βελτιωμένη απόδοση στην εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLMs) ή πολυτροπικών μοντέλων, 50% καλύτερη απόδοση στο συμπερασμό (inference) και 40% καλύτερη ενεργειακή αποδοτικότητα σε σχέση με τους επεξεργαστές/επιταχυντές NVIDIA H100. Ο νέος επιταχυντής AI παρουσιάστηκε με τη μορφή μίας dual-slot κάρτας PCIe Gen 5 (τύπου Universal Baseboard) με TDP 600W ή ως μονάδα OAM (Open Accelerator Module) με TDP ίσο με 900W. Η κάρτα PCIe Gen 5 έχει την ίδια μέγιστη απόδοση (1.835 TeraFLOPS σε FP8) με τη μονάδα OAM παρά το κατά 300 W χαμηλότερο TDP της.

Η έκδοση PCIe Gen 5 λειτουργεί στο πλαίσιο μίας τετράδας από τέτοιες κάρτες ανά σύστημα, ενώ οι μονάδες OAM HL-325L μπορούν να λειτουργήσουν σε διαμόρφωση οκτώ επιταχυντών ανά διακομιστή. Κατασκευασμένος στον κόμβο N5 (5 nm) της TSMC, ο επιταχυντής AI της Intel ενσωματώνει 64x πυρήνες Tensor παρέχοντας διπλάσια απόδοση FP8 και τετραπλάσια απόδοση FP16 σε σχέση με την προηγούμενη γενιά του επιταχυντή, Gaudi 2.

Ο επιταχυντής τεχνητής νοημοσύνης Gaudi 3 διαθέτει 128 GB μνήμης HBM2E με bandwidth που ισούται με 3,7 TB/s και 24x Ethernet NICs των 200 Gbps με δυνατότητες κλιμάκωσης σε διπλό NIC των 400 Gbps. Στη συσκευασία του, ο Gaudi 3 περιλαμβάνει 10x πλακίδια (tiles), τα οποία μπορείτε να διακρίνετε στην παραπάνω εικόνα.

Μεταξύ των 2x κεντρικών πλακιδίων για το processing υπάρχουν 96 MB SRAM που λειτουργούν ως λανθάνουσα μνήμη χαμηλότερου επιπέδου (Low-Level Cache) που γεφυρώνει την επικοινωνία μεταξύ των πυρήνων Tensor και της μνήμης HBM2E. Σύμφωνα με την Intel, ο Gaudi 3 AI Accelerator υποστηρίζει clusters έως και 8.192x καρτών (1.024x nodes των οκτώ επιταχυντών έκαστο). Η μαζική παραγωγή του νέου Gaudi 3 αναμένεται να ξεκινήσει μέσα στο τρίτο τρίμηνο της χρονιάς. 

Στην ίδια εκδήλωση, η Intel ανακοίνωσε επίσης ότι θα υποστηρίξει τη νέα τυποποιημένη μορφή δεδομένων MXFP4 που αυξάνει τις επιδόσεις και έκανε γνωστό ότι βρίσκεται σε φάση ανάπτυξης ενός νέου AI NIC ASIC για δικτύωση που συμμορφώνεται με τα πρότυπα του Ultra Ethernet Consortium.

Διαβάστε ολόκληρο το άρθρο

[MariosX]

γελάν και οι πέτρες 

[nepomuk]

Μεχρι να κυκλοφορησει ακομα και αν ευσταθουν οι μετρησεις , η Nvidia θα εχει ριξει για τα καλα στην αγορα το επομενο μοντελο,

που ο Gaudi 3 θα ειναι μαλλον για τα μπαζα και τεσπα μακραν δευτεραντζα και αν ...  Απαιτειται ενα μεγαλο αλμα απο τους υπολοιπους παικτες

για να μην τρωνε τη σκονη του πετσινου.

[Dimitris_1981]

Μάχη γιγάντων στην ενεργειακή αποδοτικότητα 

Ψησταριά ο Μπάμπης VS Πιτσαρία ο Βεζούβιος.

Πλάκα κάνω μην αρχίσετε....

 

[vegito]

Καποιο κομματι απο την πιτα θα παρουν σιγουρα. Σε 6 μηνες θα μπορει να παρει κανεις αυτες τις ιντελ, σε 12-18μηνες οποιαδηποτε nvidia με τετοια ζητηση που εχουν.

[cpc464]

Αρκεί να μην τρώει degrade μετά από 3-4 μήνες λειτουργίας σαν τους 13900κ και 14900κ.

[pao13]

gaou bio πρέπει να λέγεται το καινούριο οπως και στον στρατο 

[Fotis_Tsak]

Τιμούλα?

[freegr]

Παιχνίδια εντυπώσεων με αρκετή δόση μάρκετινγκ με σκοπό να κάνουν πωλήσεις αυξάνοντας τα κέρδη τους…

[Saggitaro]

8 ώρες πριν, cpc464 είπε

Αρκεί να μην τρώει degrade μετά από 3-4 μήνες λειτουργίας σαν τους 13900κ και 14900κ.

Και όχι μόνο,μην ξεχνάμε και τις ευπάθειες meltdown και spectre που τα patch τους έριχναν κατά πολύ την απόδοση...

[Mythoplasths]

Πάνε τα ζερτζ.. Πάνε οι πυρήνες.. Πάνε τα μουλτι θρεντ. Πάνε και τα mmx. Tωρα θα πουλαει ΤΝ μέχρι να βγει κάτι άλλο. Δεν την πιάνεις την ιντελα πλέον. Απλά τώρα δεν έχει να αγοράσει περιοδικά να διαμορφώσει απόψεις να κάνει το άσπρο μαύρο. 

[teodoreh]

Το πρόβλημα δεν είναι η απόδοση του εκάστοτε Gaudi της Intel ή MI της AMD. Το πρόβλημα είναι πως ο κώδικας που γράφεται αυτή τη στιγμή για NVidia ΑΙ είναι σε CUDA και είναι propientary, οπότε αν κάποιος θέλει να μεταπηδήσει σε άλλη πλατφόρμα, πρέπει να κάνει άλλη τόση δουλειά. Αυτός είναι και ο λόγος που οι της intel όπου σταθούν και όπου βρεθούν κράζουν το CUDA και ζητάνε να υιοθετηθούν ανοιχτά πρότυπα.

 

[Painmaker]

Καμία καλή gaming κάρτα γραφικών θα βγάλει; 

[patatasc]

7 ώρες πριν, teodoreh είπε

Το πρόβλημα δεν είναι η απόδοση του εκάστοτε Gaudi της Intel ή MI της AMD. Το πρόβλημα είναι πως ο κώδικας που γράφεται αυτή τη στιγμή για NVidia ΑΙ είναι σε CUDA και είναι propientary, οπότε αν κάποιος θέλει να μεταπηδήσει σε άλλη πλατφόρμα, πρέπει να κάνει άλλη τόση δουλειά. Αυτός είναι και ο λόγος που οι της intel όπου σταθούν και όπου βρεθούν κράζουν το CUDA και ζητάνε να υιοθετηθούν ανοιχτά πρότυπα.

Ας βγει το υλικό, να είναι πιο προσιτό, και κάτι θα γίνει και με λογισμικό.