Η Κινέζικη multi-modal AI, Wu Dao 2.0 έχει 10 φορές το μέγεθος του μοντέλου GPT-3 της Open AI

[polemikos]

Όταν το μοντέλο GPT-3 της κοινοπραξίας Open AI έκανε το ντεμπούτο του τον Μάϊο του 2020 ήταν κυριολεκτικά η τελευταία λέξη της τεχνολογίας.

Ικανό να παράγει κείμενο σχεδόν χωρίς καμία διαφορά από το ανθρώπινο, το μοντέλο GPT-3 αποτέλεσε το νέο στάνταρντ στη βαθιά εκμάθηση. Όμως από ότι φαίνεται, τουλάχιστον στον τομέα της βαθιάς εκμάθησης και της τεχνητής νοημοσύνης ένας χρόνος μπορεί να κάνει τη διαφορά. Ερευνητές λοιπόν από την Ακαδημία Τεχνητής Νοημοσύνης στο Πεκίνο ανακοίνωσαν πρόσφατα τη διάθεση του δικού τους generative μοντέλου βαθιάς εκμάθησης, του Wu Dao.

Πρόκειται για τεχνητή νοημοσύνη που είναι ικανή να κάνει όλα όσα και το GPT-3 και ακόμα περισσότερα. Αρχικά, να αναφέρουμε ότι το μοντέλο Wu Dao είναι τεράστιο, και έχει εκπαιδευτεί σε 1,75 τρισεκατομμύρια παραμέτρους που είναι 10 φορές περισσότερες από αυτές που έχει εκπαιδευτεί το μοντέλο GPT-3 της Open AI και κατά 150 δισεκατομμύρια παραμέτρους «μεγαλύτερο» από το Switch Transformers της Google.

Για να καταφέρουν να εκπαιδεύσουν το μοντέλο σε τόσες πολλές παραμέτρους και να γίνει σε σύντομο χρονικό διάστημα -το Wu Dao 2.0 έφτασε μόλις τρεις μήνες μετά την 1.0 έκδοση του μοντέλου- οι Κινέζοι ερευνητές ανέπτυξαν πρώτα ένα σύστημα εκπαίδευσης ανοικτού λογισμικού, το οποίο μοιάζει με το Mixture of Experts της Google και έχει την ονομασία FastMoE. Το σύστημα, το οποίο λειτουργεί σε PyTorch, κατέστησε δυνατή την εκπαίδευση του μοντέλου τόσο σε clusters υπερυπολογιστών όσο και σε συμβατικές GPUs. Από μόνη της αυτή η δυνατότητα έκανε το FastMoE σημαντικά πιο ευέλικτο από το σύστημα της Google καθώς δεν απαιτεί εξειδικευμένο hardware όπως συμβαίνει στην περίπτωση των  TPUs της Google.

Σε αντίθεση με άλλα μοντέλα βαθιάς εκμάθησης που μπορούν να εκτελέσουν μία εργασία – παραγωγή deep fakes, αναγνώριση προσώπων, συγγραφή κειμένων κ.ά.- το Wu Dao είναι multi-modal, δηλαδή θεωρητικά παρόμοια με την τεχνητή νοημοσύνη αναγνώρισης ρητορικής μίσους του Facebook ή το MUM της Google. Επομένως μπορεί να πραγματοποιεί πολλά διαφορετικά πράγματα όπως να εκτελεί λειτουργίες φυσικής γλώσσας, παραγωγή κειμένου, να αναγνωρίζει εικόνες ή να παράγει εικόνες κ.ά. Το μοντέλο μάλιστα δεν έχει μόνο εκπαιδευτεί στην συγγραφή ποιημάτων ή διηγημάτων στα Κινέζικα, αλλά μπορεί να παράγει φωτορεαλιστικές εικόνες με βάση περιγραφές σε φυσική γλώσσα και άλλα πολλά (π.χ. να εκτιμά την τρισδιάστατη δομή πρωτεϊνών κ.ά.).

«Ο δρόμος για την γενική τεχνητή νοημοσύνη είναι τα μεγάλα μοντέλα και οι μεγάλοι υπολογιστές» δήλωσε ο Dr. Zhang Hongjiang, Πρόεδρος της Ακαδημίας Τεχνητής Νοημοσύνης του Πεκίνου. «Αυτό που φτιάχνουμε είναι ένα εργοστάσιο ενέργειας για το μέλλον της τεχνητής νοημοσύνης… με μεγάλα δεδομένα, μεγάλη επεξεργαστική ισχύ και μεγάλα μοντέλα, μπορούμε να μεταμορφώσουμε τα δεδομένα για να τροφοδοτήσουμε τις εφαρμογές τεχνητής νοημοσύνης του μέλλοντος».

Διαβάστε ολόκληρο το άρθρο

[busellatos]

Παίζει το άρθρο να έχει γραφτεί αυτόματα από την τεχνητή νοημοσύνη και το insomnia να μην το ξέρει ακόμα 🍌

[nickmanak]

Διαβασα τον τιτλο του αρθρου και για 1η φορα δεν καταλαβα τπτ και ειμαι και παλιο μελος του ινσομνια. Μαλλον "θειάτσεψα"! 🧓

[rohas]

[KilliK]

ωραια, μενουν οι Ρωσοι να ανακοινωσουν και αυτοι το δικο τους μεγαλο ΑΙ. να τα βαλουν και τα 3 μαζι να συζητησουν. και στο τελος:

 

[Πέτρος]

4 λεπτά πριν, KilliK είπε

ωραια, μενουν οι Ρωσοι να ανακοινωσουν και αυτοι το δικο τους μεγαλο ΑΙ. να τα βαλουν και τα 3 μαζι να συζητησουν. και στο τελος:

 

Έχω καλύτερο...ας βάλουν τις τωρινές ΑΙ να εκπαιδεύσουν τις επόμενες.

Κάποια από τα "παιδιά" θα καταρρεύσουν πολύ πολύ γρήγορα, κάποια θα κινηθούν στη μετριότητα, κάποια θα κάνουν προόδους/άλματα, κάποιο θα κάνει το μπαμ.

[georgerapp]

Ποιος θα μπορούσε με εύκολο λόγο σαν να ομιλεί σε παιδί να μου πει τι κάνουν αυτα τα τσιπακια ; Οσα έχω διαβάσει κινούνται στο παραπάνω στυλ κ επειδή ισως , μπορεί κ μάλλον , είμαι χαζός !!!

[tsarouc]

Μου θυμίζει trancendence. Την γνωστή ταινία με τον Τζονυ Ντεπ. Βασικά αν βάλουμε και τον Έλον στο σενάριο με την τεχνολογία Neuralink και εξελιχθεί στο να διαβάσει τον κώδικα που ρέει στον εγκέφαλο του καθένα μας ίσως μελλοντικά να μην είναι επιστημονική φαντασία η αντιγραφή ενός εγκεφάλου σε ένα τσιπ/υπολογιστή στην συγκεκριμένη περίπτωση. Και για να πάμε παρακάτω πολύ μελλοντικά και με λίγη φαντασία όταν αυτά ολοκληρωθούν και χωρέσουν σε μερικά κυβικά εκατοστά σε συνδυασμό με ένα τέλειο ανθρωποειδές ρομπότ να έχουμε αντίγραφο πλήρες οποιουδήποτε ανθρώπου. 

Τρομερά πράγματα... 

[kostas106gti]

Ως Κινεζικη AI που σέβεται τον εαυτό της έχει ήδη αρχίσει να κοπιάρει πατέντες της Apple,Samsung,LG,Nokia κλπ ...

Επεξ/σία 9 Ιουνίου 2021 από kostas106gti

[anax111]

Ακόμα μια απόδειξη πως οι ΗΠΑ δεν έχουν πολύ χρόνο. Εάν οι Κινέζοι αποκτήσουν πρώτοι την κβαντική υπεροχή στους υπολογιστές το παιχνίδι για τις ΗΠΑ, (και για όλο τον δυτικό κόσμο) θα έχει χαθεί. Κι όποιος κατάλαβε, κατάλαβε.

[mike299]

1 ώρα πριν, KilliK είπε

ωραια, μενουν οι Ρωσοι να ανακοινωσουν και αυτοι το δικο τους μεγαλο ΑΙ. να τα βαλουν και τα 3 μαζι να συζητησουν. και στο τελος:

 

Παιχνιδάρα!

[jimmyl]

Θα τον βαλουν να τρεξει προσωμοιωσεις για τη νεα version του Covid-19

[zarrok]

Θελω να κανω μια ερωτηση που με ταλανιζει χρονια σαν φαινομενο και το βλεπω μονο στον ελλαδικο χωρο. Προς τι αυτο το παθος να αλλαζει η ορολογια στα ελληνικα? Πχ γιατι μεταφραζετε τους ορους machine learning, deep learning, κτλ? Θεωρειτε οτι ειναι ποο χρησιμο στον αναγνωστη? Απο την αλλη γιατι δεν μεταφράστηκε και το "deep fakes" κατα τον ιδιο τροπο? 

Επεξ/σία 9 Ιουνίου 2021 από zarrok

[peiraiask]

δηλαδη

θα φτιαχνει  καφε κ σουβλακια ..?😌

[markos9]

2 ώρες πριν, zarrok είπε

Θελω να κανω μια ερωτηση που με ταλανιζει χρονια σαν φαινομενο και το βλεπω μονο στον ελλαδικο χωρο. Προς τι αυτο το παθος να αλλαζει η ορολογια στα ελληνικα? Πχ γιατι μεταφραζετε τους ορους machine learning, deep learning, κτλ? Θεωρειτε οτι ειναι ποο χρησιμο στον αναγνωστη? Απο την αλλη γιατι δεν μεταφράστηκε και το "deep fakes" κατα τον ιδιο τροπο? 

 

Επεξ/σία 9 Ιουνίου 2021 από markos9