Πληροφορίες για περιορισμένη βελτίωση του νέου μοντέλου ChatGPT που ετοιμάζει η OpenAI

[Axlmon]

Το μοντέλο Orion της OpenAI, η επόμενη γενιά του ChatGPT, εμφανίζει μικρότερη βελτίωση σε σύγκριση με την προηγούμενη αναβάθμιση από το GPT-3 στο GPT-4, σύμφωνα με αποκλειστικό ρεπορτάζ του The Information που επικαλείται εσωτερικές πηγές της εταιρείας.

Οι εργαζόμενοι της OpenAI αναφέρουν πως το Orion δεν παρουσιάζει σταθερά καλύτερες επιδόσεις από το GPT-4 σε συγκεκριμένες εργασίες, ιδιαίτερα στον προγραμματισμό. Ωστόσο, το νέο μοντέλο επιδεικνύει ενισχυμένες δυνατότητες στην επεξεργασία γλώσσας, όπως στη σύνοψη εγγράφων και τη δημιουργία emails.

Κύρια αιτία της περιορισμένης προόδου αποτελεί η έλλειψη ποιοτικών δεδομένων εκπαίδευσης. Η βιομηχανία τεχνητής νοημοσύνης έχει ήδη αξιοποιήσει τις εύκολα προσβάσιμες πηγές από πλατφόρμες κοινωνικής δικτύωσης όπως X, Facebook και YouTube.

Για την αντιμετώπιση του προβλήματος, η OpenAI συγκρότησε ειδική ομάδα που διερευνά εναλλακτικές μεθόδους, συμπεριλαμβανομένης της χρήσης συνθετικών δεδομένων εκπαίδευσης, παρόμοια με αυτά που παράγει η οικογένεια μοντέλων Nemotron της Nvidia.

Οι περιορισμοί στα δεδομένα εκπαίδευσης επηρεάζουν άμεσα τις ενεργειακές απαιτήσεις των συστημάτων τεχνητής νοημοσύνης. Σύμφωνα με εκτιμήσεις ειδικών, η κατανάλωση ενέργειας, νερού και άλλων πόρων αναμένεται να εξαπλασιαστεί την επόμενη δεκαετία.

Μεγάλες εταιρείες τεχνολογίας προχωρούν σε στρατηγικές κινήσεις για την εξασφάλιση ενεργειακών πόρων. Η Microsoft εξετάζει την επανεκκίνηση του σταθμού Three Mile Island, η AWS αγόρασε μονάδα παραγωγής 960 MW, ενώ η Google εξασφάλισε την παραγωγή επτά πυρηνικών αντιδραστήρων.

Αναλυτές της αγοράς επισημαίνουν πως η τρέχουσα υποδομή ηλεκτρικής ενέργειας δεν επαρκεί για να υποστηρίξει τις αυξανόμενες απαιτήσεις των κέντρων δεδομένων τεχνητής νοημοσύνης.

Η ομάδα ανάπτυξης της OpenAI επικεντρώνεται επίσης στη βελτίωση της απόδοσης του μοντέλου μετά την εκπαίδευση, αναζητώντας τρόπους μεγιστοποίησης της αποτελεσματικότητας με τα διαθέσιμα δεδομένα.

Ερευνητές του κλάδου προβλέπουν πως οι προκλήσεις στην εκπαίδευση μοντέλων τεχνητής νοημοσύνης θα οδηγήσουν σε νέες μεθόδους και τεχνικές ανάπτυξης στα επόμενα χρόνια.

Η κυκλοφορία του Orion αναμένεται εντός του 2025, με την προϋπόθεση ότι θα έχουν επιλυθεί τα ζητήματα ενεργειακής επάρκειας και διαθεσιμότητας δεδομένων εκπαίδευσης.

Υπολογίζεται ότι το μοντέλο Orion θα απαιτεί περίπου 3.5 gigawatt ηλεκτρικής ενέργειας ημερησίως για τη λειτουργία του.

Διαβάστε ολόκληρο το άρθρο

[oldnew]

Πριν διαβαζα οτι θα ειναι 100 φορές ισχυρότερο απ το προηγούμενο, εδω διαβάζεις περίπου τα αντίθετα, αν και το ενα δεν αποκλείει το αλλο.. 

[atypicalcoder]

Μερικοί το είχαμε αναφέρει ότι αυτό το πράγμα έχει πιάσει peak

[PadPoet]

Σκάει η φούσκα για το ΑΙ ή μήπως δεν κατάλαβα καλά;

Αυτό δεν ήταν που μαθαίνει γεωμετρικά όσο περνάει ο καιρός; Δεν τους φτάνουν τα δεδομένα; LoL, ok.

[polaki]

24 minutes ago, PadPoet said:

Αυτό δεν ήταν που μαθαίνει γεωμετρικά όσο περνάει ο καιρός; Δεν τους φτάνουν τα δεδομένα; LoL, ok.

Μαθαίνει λέει για την επικοινωνία των ανθρώπων απτο Twitter, το Facebook και το YouTube, τα πιάσαμε τα λεφτά μας.. 🤷🏼‍♂️😂 

[KilliK]

"εμφανίζει μικρότερη βελτίωση σε σύγκριση με την προηγούμενη αναβάθμιση από το GPT-3 στο GPT-4"

αναμενομενο. η συγκεκριμενη τεχνολογια φτανει σιγα σιγα στα ορια της, οπως ειχε επισημανθει και απο παλιοτερα papers. τωρα θα αρχισει να σκαει η φουσκα.

1 ώρα πριν, oldnew είπε

Πριν διαβαζα οτι θα ειναι 100 φορές ισχυρότερο απ το προηγούμενο, εδω διαβάζεις περίπου τα αντίθετα, αν και το ενα δεν αποκλείει το αλλο.. 

ακομη χειροτερα, επειδη το market share growth της ΟΑΙ εχει τελματωσει απο περυσι, οι οικονομικοι αναλυτες λεγανε οτι πρεπει οπωσδηποτε η επομενη γενια του ChatGPT να κανει τεχνολογικο αλμα για να μπορεσει η επιχειρηση να ξεκολλήσει και να τραβηξει και αλλο κοσμο. αλλα τελικα μονο αυτο δεν συνεβει. καποια στιγμη θα παραδεχθουν ολες αυτες οι startups οτι τα LLM δεν ειναι ο σωστος δρομος που θα οδηγησει στην AGI και εκει θα κρασαρει η αγορα.

[atypicalcoder]

33 λεπτά πριν, polaki είπε

Μαθαίνει λέει για την επικοινωνία των ανθρώπων απτο Twitter, το Facebook και το YouTube, τα πιάσαμε τα λεφτά μας.. 🤷🏼‍♂️😂 

Εγώ ένα θα πω. πάλι καλά που είναι φούσκα γιατί οι δημιουργοί του (devs) παίζει να είναι πιο μαιντανοί και από τους παραπάνω, που φτιάχνουν κάτι που θα τους αντικαταστήσει και το προωθούν κιόλας. (ναι ναι κάπου εδώ θα πεταχτεί κάποιος που θα πει ότι θα προκύψουν άλλες θέσεις για AI devs).

Επεξ/σία 16 Νοεμβρίου από atypicalcoder

[sidewalker1702]

Σημείωση: Η (k/M/G)Wh είναι μονάδα ενέργειας, η (k/M/G)W ισχύος. Από την στιγμή που λέει το άρθρο για "ημέρα", μιλάμε για Wh.

 

Κατά τα λοιπά, θα ήταν ενδιαφέρον να αποκτήσει πρόσβαση σε σημαντικές βιβλιοθήκες που έστω μερικώς έχουν ψηφιοποιηθεί, όπως του Κογκρέσου των ΗΠΑ, για να αποκτήσει ουσιώδεις πληροφορίες. Προφανώς κάποια στιγμή προετοιμαζόμαστε-που δυσκολεύομαι να προσδιορίσω-για μίας νέας μορφής πόλεμο, ανάλογα με το πόσο ολοκληρωμένη πληροφόρηση παρέχουν τα μοντέλα ΑΙ και συνεπώς την "γνώση" που θα έχουν αυτά στον εκάστοτε πληθυσμό. 

...αν δεν έχουμε στερέψει τα πάντα από πηγές ενέργειας στο μεταξύ. Πώς το έλεγε στο Matrix ναι δεις;;; [...] ...in these fields, we are not born, we are grown...

[Arkin]

Βλεπω τα ρομποτακια καπως ετσι στο μελλον

[shadowlike]

το AGI μη ξεχάσετε 

[cr77]

AI vs Cybersecurity

 

https://youtube.com/shorts/ULKC4NISWE4

Επεξ/σία 17 Νοεμβρίου από cr77

[MetroStar]

Και σιγά σιγά φτάνει σε τέλμα η "A"I όπως είχαν προβλέψει πολλοί εδώ και καιρό επειδή φυσικά δεν υπάρχουν καινούργια δεδομένα για εκπαίδευση. Και το πράγμα θα γίνεται όλο και δυσκολότερο, γιατί το ίντερνετ γεμίζει σιγά σιγά με περιεχόμενο που είναι γραμμένο από ΑΙ.

Για να φτάσουμε στο σημερινό (χαμηλό) επίπεδο χρειάστηκε να χρησιμοποιήσουν λίγο ή πολύ ότι έχει γραφτεί μέχρι στιγμής από την ανθρωπότητα συν τα 30 χρόνια ίντερνετ.

Η φούσκα θα σκάσει πολύ σύντομα.

18 hours ago, KilliK said:

"εμφανίζει μικρότερη βελτίωση σε σύγκριση με την προηγούμενη αναβάθμιση από το GPT-3 στο GPT-4"

αναμενομενο. η συγκεκριμενη τεχνολογια φτανει σιγα σιγα στα ορια της, οπως ειχε επισημανθει και απο παλιοτερα papers. τωρα θα αρχισει να σκαει η φουσκα.

ακομη χειροτερα, επειδη το market share growth της ΟΑΙ εχει τελματωσει απο περυσι, οι οικονομικοι αναλυτες λεγανε οτι πρεπει οπωσδηποτε η επομενη γενια του ChatGPT να κανει τεχνολογικο αλμα για να μπορεσει η επιχειρηση να ξεκολλήσει και να τραβηξει και αλλο κοσμο. αλλα τελικα μονο αυτο δεν συνεβει. καποια στιγμη θα παραδεχθουν ολες αυτες οι startups οτι τα LLM δεν ειναι ο σωστος δρομος που θα οδηγησει στην AGI και εκει θα κρασαρει η αγορα.

Το "AGI" δε σημαίνει απολύτως τίποτα, είναι ένα marketing stunt, ναι μπούρδα.

Επεξ/σία 17 Νοεμβρίου από MetroStar

[oldnew]

18 hours ago, atypicalcoder said:

 κάπου εδώ θα πεταχτεί κάποιος που θα πει ότι θα προκύψουν άλλες θέσεις για AI devs

Ο απώτερος στόχος είναι, να μη παραχθεί καμια θέση, αλλα να φτάσουμε κάποτε ολες τις δουλειές να τις κάνουν τα ρομπότ. Διαβάστε λιγο Ισαάκ ασιμωφ, τα είχε περιγράψει άριστα πριν 70 χρόνια. Για την πλειοψηφία των ανθρώπων δουλειά = αγγαρεία, δουλεία. Μονο καλό θα είναι να μπορούμε να κάνουμε οτι θέλουμε, να ταξιδεύουμε, χόμπι, έρευνα, οτι γούσταρει καθένας, και ολες τις αγγαρείες (δουλειά, μαγείρεμα, καθάρισμα κλπ) να τις κάνουν τα ρομπότ. Αν θες να δουλεύεις επειδή σε καλύπτει ψυχολογικά, θα μπορείς να το κάνεις ΣΤΗ ΔΟΥΛΕΙΑ ΠΟΥ ΘΕΣ. Μη μου πει κανείς ότι αυτοί που κάνουν delivery με μηχανάκια σε βροχή, το χαίρονται και γουστάρουν να δουλεύουν. Εναλλακτική ηταν οι δούλοι στο παρελθόν. Και η εργασία σήμερα μια μορφή δουλείας είναι προκειμένου να υπάρχει παραγωγή, γιατί μέχρι σήμερα δεν υπήρχε αλλος τρόπος. 

Η τεχνολογία φαίνεται οτι τα επόμενα 50-100 χρόνια θα παράσχει αυτή τη δυνατότητα. Φυσικά μπορεί να μην εξελιχθεί έτσι το πράγμα και να παμε σε μια κόλαση αντι για τον παράδεισο που περιγράφω. Ο άνθρωπος θα φταίει αν συμβεί αυτο. 

Επεξ/σία 17 Νοεμβρίου από oldnew

[panther_512]

Τα LLMs θα μαθαίνουν πλέον με συνθετικά δεδομένα. 

Αυτό είναι το πρώτο βήμα για περαιτέρω βελτίωσή τους. 

Μετά θέλει breakthrough, το οποίο θα έρθει, είναι θέμα χρόνου.

Δεν είναι φούσκα η ΑΙ παιδιά. Φούσκα είναι οι θεωρίες επιστημονικής φαντασίας που βγαίνουν από ανθρώπους που δεν γνωρίζουν τι είναι το ΑΙ γενικά και τι τα LLMs. 

Επεξ/σία 17 Νοεμβρίου από panther_512

[atypicalcoder]

38 λεπτά πριν, oldnew είπε

Ο απώτερος στόχος είναι, να μη παραχθεί καμια θέση, αλλα να φτάσουμε κάποτε ολες τις δουλειές να τις κάνουν τα ρομπότ. Διαβάστε λιγο Ισαάκ ασιμωφ, τα είχε περιγράψει άριστα πριν 70 χρόνια. Για την πλειοψηφία των ανθρώπων δουλειά = αγγαρεία, δουλεία. Μονο καλό θα είναι να μπορούμε να κάνουμε οτι θέλουμε, να ταξιδεύουμε, χόμπι, έρευνα, οτι γούσταρει καθένας, και ολες τις αγγαρείες (δουλειά, μαγείρεμα, καθάρισμα κλπ) να τις κάνουν τα ρομπότ. Αν θες να δουλεύεις επειδή σε καλύπτει ψυχολογικά, θα μπορείς να το κάνεις ΣΤΗ ΔΟΥΛΕΙΑ ΠΟΥ ΘΕΣ. Μη μου πει κανείς ότι αυτοί που κάνουν delivery με μηχανάκια σε βροχή, το χαίρονται και γουστάρουν να δουλεύουν. Εναλλακτική ηταν οι δούλοι στο παρελθόν. Και η εργασία σήμερα μια μορφή δουλείας είναι προκειμένου να υπάρχει παραγωγή, γιατί μέχρι σήμερα δεν υπήρχε αλλος τρόπος. 

Η τεχνολογία φαίνεται οτι τα επόμενα 50-100 χρόνια θα παράσχει αυτή τη δυνατότητα. Φυσικά μπορεί να μην εξελιχθεί έτσι το πράγμα και να παμε σε μια κόλαση αντι για τον παράδεισο που περιγράφω. Ο άνθρωπος θα φταίει αν συμβεί αυτο. 

Δεν γίνεται να τα πιστεύετε αυτά. Ότι θα φτάσουμε στο σημείο να βάζουμε τα ρομποτς να δουλεύουν για μας και εμείς ταξιδάκια και καλοπέραση. Με τι λεφτά? Α ναι το κλασικό "εγγυημένο ελάχιστο εισόδημα" κάπως έτσι τέσπα που το διαβάζω που και που. Καταλαβαίνετε ότι το κράτος βασίζεται στην φορολογία κι άρα στο να εργάζεσαι.

Δεν θα φτάσουμε ποτέ σε αυτό το σημείο που αναφέρεις. Μπορεί όμως να φτάσουμε σε σημείο που οι βιομηχανίες να δουλεύουν στον αυτόματο και οι άνθρωποι να πεινάνε. Το "θα κάθομαι και θα παίρνω ένα βασικό εισόδημα" απλά ξεχάστε το.

16 λεπτά πριν, panther_512 είπε

Τα LLMs θα μαθαίνουν πλέον με συνθετικά δεδομένα. 

Αυτό είναι το πρώτο βήμα για περαιτέρω βελτίωσή τους. 

Μετά θέλει breakthrough, το οποίο θα έρθει, είναι θέμα χρόνου.

Δεν είναι φούσκα η ΑΙ παιδιά. Φούσκα είναι οι θεωρίες επιστημονικής φαντασίας που βγαίνουν από ανθρώπους που δεν γνωρίζουν τι είναι το ΑΙ γενικά και τι τα LLMs. 

ζούμε σε μια εποχή που "αν δεν μπορείς να αποδείξεις ότι είναι φούσκα" τότε δεν είναι. Καλά οι λέξεις κριτική ικανότητα/ένστικτο έχουν πάει περίπατο.

Με απλά λόγια μας λες ότι "αν δεν είστε ειδικοί μην λέτε ότι είναι φούσκα". Και εγώ σου λέω "αν δεν είστε ειδικοί μην λέτε ότι ΔΕΝ είναι φούσκα". Να τα βρούμε κάπου στη μέση?

Επεξ/σία 17 Νοεμβρίου από atypicalcoder