Η Microsoft παρουσίασε έναν 128πύρηνο επεξεργαστή ARM για το Azure Cloud και έναν Custom AI Accelerator

[timk]

Κατά τη διάρκεια του συνεδρίου Ignite, η Microsoft παρουσίασε δύο νέα, ειδικά προσαρμοσμένα chips για να επιταχύνουν εφαρμογές Τεχνητής Νοημοσύνης και να υπερέχουν σε απόδοση όταν πρόκειται για φόρτους εργασίας στο cloud.

Το πρώτο από τα δύο chips είναι ο επεξεργαστής Azure Cobalt 100, ο οποίος υποστηρίζει το σύνολο εντολών 64-bit Armv9 και ενσωματώνει 128 πυρήνες. Η συγκεκριμένη υλοποίηση διαθέτει cloud-native σχεδιασμό και αναμένεται να αποτελέσει μέρος των προσφορών της Microsoft στον χώρο. Αν και δεν υπάρχουν πολλές λεπτομέρειες σχετικά με την εσωτερική του διαμόρφωση, η Microsoft ισχυρίζεται ότι οι διακομιστές με Azure Cobalt 100 ξεπερνούν από άποψη απόδοσης/ watt τη τρέχουσα γενιά διακομιστών Arm που «τρέχουν» Azure. Το SoC χρησιμοποιεί την πλατφόρμα Neoverse CSS της Arm προσαρμοσμένη για τη Microsoft ενώ οι πυρήνες ενδέχεται να είναι τύπου Arm Neoverse N2.

Όπως είναι γνωστό, η επιτάχυνση της Τεχνητής Νοημοσύνης, η οποία είναι απαραίτητη για την εκτέλεση των σημερινών μεγάλων γλωσσικών μοντέλων (LLM) είναι το «next big thing» στον χώρο των διακομιστών και του cloud. Η Microsoft φιλοξενεί το ChatGPT της OpenAI, το Copilot της Microsoft και πολλές άλλες υπηρεσίες Τεχνητής Νοημοσύνης (AI). Για να εκτελούνται όσο το δυνατόν ταχύτερα, η εταιρεία σχεδίασε το Maia 100 AI Accelerator -ουσιαστικά πρόκειται για το νέο όνομα του πρότζεκτ Athena-το οποίο κατασκευάζεται από την TSMC με μέθοδο 5nm.

Η εταιρεία απευθύνθηκε στην OpenAI για να λάβει σχόλια και παρατηρήσεις για το Azure Maia 100 AI Accelerator καθώς χρησιμοποίησε τα μεγάλα γλωσσικά μοντέλα της Microsoft-baked εταιρείας για δοκιμές. Ο Διευθύνων Σύμβουλος της OpenAI, Sam Altman, δήλωσε ότι το ανανεωμένο Azure της Microsoft θα παρέχει επίσης τη δυνατότητα για την εκπαίδευση βελτιωμένων μοντέλων καθιστώντας επίσης πιο προσιτά στους πελάτες.

Το Azure Maia 100 AI Accelerator διαθέτει 105 δισεκατομμύρια τρανζίστορς και υποστηρίζει διάφορα φορμά δεδομένων MX, ακόμη και μικρότερα από 8-bit για μέγιστη απόδοση. Προς το παρόν δοκιμάζεται στο GPT 3.5 Turbo ωστόσο δεν έχουν δοθεί ακόμη στοιχεία για τις επιδόσεις του, ούτε συγκριτικά διαγράμματα με το ανταγωνιστικό hardware της NVIDIA, όπως είναι οι επιταχυντές H100 ή H200 ή με το MI300X της AMD. Το Maia 100 επιδεικνύει bandwidth 4,8 terabits ανά επιταχυντή, το οποίο χρησιμοποιεί ένα προσαρμοσμένο πρωτόκολλο δικτύωσης βασισμένο στο Ethernet για scaling. Η εταιρεία αναμένεται να εγκαταστήσει διακομιστές στα κέντρα δεδομένων της με τα νέα chips στις αρχές του επόμενου έτους.

Τα ειδικά σχεδιασμένα chips μπορούν να βελτιστοποιήσουν περαιτέρω την υποδομή της Microsoft αντί να βασίζεται σε λύσεις τρίτων. «Όπως, με την οικοδόμηση ενός σπιτιού μπορείτε να ελέγχετε κάθε επιλογή και λεπτομέρεια του σχεδιασμού, έτσι και η Microsoft βλέπει την προσθήκη των δικών της chips ως έναν τρόπο να διασφαλίσει ότι κάθε στοιχείο είναι προσαρμοσμένο για τα φορτία εργασίας cloud και AI της ίδιας της εταιρείας» διαβάζουμε σε μία ανάρτηση στο blog της εταιρείας. «Τα chips θα φιλοξενούνται σε προσαρμοσμένες μητρικές πλακέτες διακομιστών, τοποθετημένες σε ειδικά διαμορφωμένα racks κατάλληλα για να χωράνε εύκολα στα υπάρχοντα κέντρα δεδομένων της Microsoft. Το υλικό θα συνεργάζεται χέρι-χέρι με το λογισμικό και θα διαμορφώνονται από κοινού για να ξεκλειδώνουν νέες δυνατότητες και ευκαιρίες» διαβάζουμε στην ίδια ανάρτηση.

Διαβάστε ολόκληρο το άρθρο

[Le Perv]

Αναφορά σε κείμενο

Το Azure Maia 100 AI Accelerator διαθέτει 105 δισεκατομμύρια τρανζίστορς και υποστηρίζει διάφορα φορμά δεδομένων MX, ακόμη και μικρότερα από 8-bit για μέγιστη απόδοση. Προς το παρόν δοκιμάζεται στο GPT 3.5 Turbo ωστόσο δεν έχουν δοθεί ακόμη στοιχεία για τις επιδόσεις του, ούτε συγκριτικά διαγράμματα με το ανταγωνιστικό hardware της NVIDIA, όπως είναι οι επιταχυντές H100 ή H200 ή με το MI300X της AMD. Το Maia 100 επιδεικνύει bandwidth 4,8 terabits ανά επιταχυντή, το οποίο χρησιμοποιεί ένα προσαρμοσμένο πρωτόκολλο δικτύωσης βασισμένο στο Ethernet για scaling.

[NiKoSmile]

Θα δούμε επιτέλους κάποιο πολυμεταφραστικό AI εργαλείο της προκοπής; Από λόγια έχουμε χορτάσει...🙄.

[punnos1989]

Επεξεργαστη Arm  ειχε το  game boy advance sp   θυμαμαι..πανε πολλα χρονια απο τοτε  βεβαια...

[comfuzio]

ε ρε και να σκάει μπλε οθόνες 

[k_w_t]

Τα windows 11 θα τον βλεπουν συμβατο επεξεργαστη ή θα μας βγαζουν μηνυμα για αναβαθμιση...?  🤣

[tadegr]

και πόσοι θα δουλεύουν (αξιοποιούνται) σε μια εφαρμογή ενας, δυο,  10 ?

οποτε και να τα χιλιάσετε  το ιδιο μας κάνει 

Επεξ/σία 16 Νοεμβρίου 2023 από tadegr

[mindreader]

Μεχρι και η καταιδρωμενη microsoft, που δεν θεωρω οτι 'το χει' στο hardware, ποσο μαλλον σε...cpu, καταλαβε ομως, οτι το μελλον ειναι σε arm.

Μονο η intel δεν καταλαβε τιποτε. Οι τυποι πραγματικα δεν παιζονται. Σε παραλληλο συμπαν ζουν.

Σε λιγα χρονια θα λεμε intel, σεβαστο κατα τα αλλα κομματι της ιστοριας των υπολογιστων, οπως λεμε σημερα τοτε που οι πρωτοι υπολογιστες ειχαν τρανζιστορ.

[fast8]

8 λεπτά πριν, tadegr είπε

και πόσοι θα δουλεύουν (αξιοποιούνται) σε μια εφαρμογή ενας, δυο,  10 ?

οποτε και να τα χιλιάσετε  το ιδιο μας κάνει 

Και 1000 να είχε θα τους δούλευε όλους. Ξεκαθαρίζει πως είναι για cloud ο επεξεργαστής, πράμα που σημαίνει χρησιμοποιείται για να τρέχει εφαρμογές όπως virtual machines τα οποία τα νοικιάζουν στους χρήστες τους. Έτσι ο Α χρήστης μπάινει και ζητάει 1 CPUs και 1GB RAM, ο άλλος μπαίνει και ζητάει 6 CPUs και 4GB RAM κτλ. και το cloud τους δίνει κομμάτι απο τον επεξεργαστή και την μνήμη. Οτι έχει απο CPUs θα το χρησιμοποιήσει. Και η συσκευασία τόσων CPU σε ένα chip αντί για 10 μεμονωμένα  είναι πολύ καλό για την φυσική εγκατάσταση και διαχείρηση τους.

 Οπότε, ναι δεν είναι για εμάς, αλλά δεν ενδιαφέρεται να μας το πουλήσει κιόλας.

[asmilon]

45 λεπτά πριν, comfuzio είπε

ε ρε και να σκάει μπλε οθόνες 

Ποτε ηταν η τελευταια φορα που ειδες μπλε οθονη σε Windows?

[amav]

Ένας από τους σχεδιαστές του ΜΑΙΑ είναι ο Miguel de Icaza. Ίσως δεν τον ξέρετε αλλά είναι αυτός που έφτιαξε το Gnome, τον Midnight Commander (mc), το mono (.Net σε Linux), τα RAID0/1 του Linux kernel και πολλά άλλα.

[immortalx]

36 λεπτά πριν, mindreader είπε

Μεχρι και η καταιδρωμενη microsoft, που δεν θεωρω οτι 'το χει' στο hardware, ποσο μαλλον σε...cpu, καταλαβε ομως, οτι το μελλον ειναι σε arm.

Μονο η intel δεν καταλαβε τιποτε. Οι τυποι πραγματικα δεν παιζονται. Σε παραλληλο συμπαν ζουν.

Σε λιγα χρονια θα λεμε intel, σεβαστο κατα τα αλλα κομματι της ιστοριας των υπολογιστων, οπως λεμε σημερα τοτε που οι πρωτοι υπολογιστες ειχαν τρανζιστορ.

Τοσο η Intel οσο και η Microsoft εχουν προιστορια σε arm αρχιτεκτονικη, σε hardware και software αντιστοιχα. Το αν καταφεραν κατι ή οχι ειναι φυσικα αλλο καπελο. Ισως δεν ηταν η ωρα τους.

Επεξ/σία 16 Νοεμβρίου 2023 από immortalx

[endeavour]

Εγώ μόνο την VW εμπιστεύομαι.

[Le Perv]

31 λεπτά πριν, amav είπε

Ένας από τους σχεδιαστές του ΜΑΙΑ είναι ο Miguel de Icaza. Ίσως δεν τον ξέρετε αλλά είναι αυτός που έφτιαξε το Gnome, τον Midnight Commander (mc), το mono (.Net σε Linux), τα RAID0/1 του Linux kernel και πολλά άλλα.

Δλδ φανατικος με τη Microsoft
Εξ απ' ανεκαθεν.
😉

[Progfusion]

Εγώ πιστεύω ότι αν τα φανάκια ήταν Αρ Τζι Μπι θα είχε ελαφρώς καλύτερη απόδοση.