Το OpenAI ανακοινώνει το GPT-4, την επόμενη γενιά του γλωσσικού του μοντέλου τεχνητής νοημοσύνης

[alion]

Μετά από μήνες φημών και εικασιών, η OpenAI ανακοίνωσε το GPT-4: το τελευταίο στη σειρά γλωσσικών μοντέλων AI που τροφοδοτούν εφαρμογές όπως το ChatGPT και το νέο Bing.

Η εταιρεία ισχυρίζεται ότι το μοντέλο είναι "πιο δημιουργικό και συνεργατικό από ποτέ" και "μπορεί να λύσει δύσκολα προβλήματα με μεγαλύτερη ακρίβεια". Μπορεί να αναλύσει τόσο κείμενο όσο και εικόνες, αν και μπορεί να απαντήσει μόνο μέσω κειμένου. Η OpenAI προειδοποιεί επίσης ότι τα συστήματα διατηρούν πολλά από τα προβλήματα που είδαμε με τα προηγούμενα γλωσσικά μοντέλα, συμπεριλαμβανομένης της τάσης να επινοούν πληροφορίες και της ικανότητας να δημιουργούν βίαια και επιβλαβή κείμενα.

Η OpenAI αναφέρει ότι έχει ήδη συνεργαστεί με διάφορες εταιρείες για την ενσωμάτωση του GPT-4 στα προϊόντα τους, συμπεριλαμβανομένων των Duolingo, Stripe και Khan Academy. Το νέο μοντέλο είναι διαθέσιμο στο ευρύ κοινό μέσω του ChatGPT Plus, της μηνιαίας συνδρομής ChatGPT της OpenAI αξίας 20 δολαρίων, ενώ σήμερα μάθαμε ότι είναι αυτό που τροφοδοτεί το chatbot του Bing της Microsoft από την πρώτη μέρα κυκλοφορίας του. Θα είναι επίσης προσβάσιμο ως API για προγραμματιστές που θα μπορούν να βασιστούν σε αυτό, με τη σχετική λίστα αναμονής να υπάρχει εδώ.

Στο αναλυτικό blog post, η OpenAI ανέφερε ότι η διάκριση μεταξύ του GPT-4 και του προκατόχου του GPT-3.5 είναι "λεπτή" σε περιστασιακή συζήτηση (το GPT-3.5 είναι το μοντέλο που τροφοδοτεί το ChatGPT). Ο διευθύνων σύμβουλος της OpenAI, Sam Altman, έγραψε στο Twitter ότι το GPT-4 «εξακολουθεί να είναι ελαττωματικό, εξακολουθεί να είναι περιορισμένο», αλλά ότι επίσης «εξακολουθεί να φαίνεται πιο εντυπωσιακό κατά την πρώτη χρήση από ό,τι όταν περάσετε περισσότερο χρόνο μαζί του».

Η εταιρεία αναφέρει ότι οι βελτιώσεις του GPT-4 είναι εμφανείς στις επιδόσεις του συστήματος σε μια σειρά από τεστ και συγκριτικά στοιχεία, συμπεριλαμβανομένων των εξετάσεων Uniform Bar Exam, LSAT, SAT Math και SAT Evidence-Based Reading & Writing. Στις εξετάσεις που αναφέρθηκαν, το GPT-4 σημείωσε βαθμολογία στο 88ο εκατοστημόριο και άνω, ενώ μια πλήρη λίστα με τις εξετάσεις και τις βαθμολογίες του συστήματος μπορείτε να δείτε εδώ.

Οι εικασίες σχετικά με το GPT-4 και τις δυνατότητές του ήταν έντονες τον τελευταίο χρόνο, με πολλούς να υποδηλώνουν ότι θα αποτελούσε τεράστιο άλμα σε σχέση με τα προηγούμενα συστήματα. Ωστόσο, αν κρίνουμε από την ανακοίνωση του OpenAI, κάτι τέτοιο δεν ισχύει όπως είχε προειδοποιήσει παλιότερα η εταιρεία. «Ο κόσμος θέλει να απογοητευτεί και θα απογοητευτεί», δήλωσε ο Altman σε συνέντευξή του για το GPT-4 τον Ιανουάριο. 

Οι φήμες αναζωπυρώθηκαν την περασμένη εβδομάδα όταν ένα στέλεχος της Microsoft άφησε να διαρρεύσει ότι το σύστημα θα κυκλοφορήσει αυτή την εβδομάδα σε συνέντευξή του στον γερμανικό Τύπο. Το στέλεχος πρότεινε επίσης ότι το σύστημα θα είναι multimodal, δηλαδή θα μπορεί να παράγει όχι μόνο κείμενο αλλά και άλλο περιεχόμενο. Πολλοί ερευνητές της τεχνητής νοημοσύνης πιστεύουν ότι τα multimodal συστήματα που ενσωματώνουν κείμενο, ήχο και βίντεο προσφέρουν τον καλύτερο δρόμο προς τη δημιουργία πιο ικανών συστημάτων τεχνητής νοημοσύνης.

Το GPT-4 είναι ένα από αυτά, αλλά υποστηρόζοντας λιγότερα μέσα από όσα κάποιοι προέβλεπαν. Η OpenAI αναφέρει ότι το σύστημα μπορεί να δεχτεί κείμενο και εικόνα, ενώ παράγει μόνο κείμενο. Η εταιρεία λέει ακόμα ότι η ικανότητα του μοντέλου να αναλύει κείμενο και εικόνα ταυτόχρονα του επιτρέπει να ερμηνεύει πιο σύνθετα ερωτήματα. Στα δείγματα που ακολουθούν, μπορείτε να δείτε το σύστημα να εξηγεί memes (μιμίδια) και ασυνήθιστες εικόνες:

 

Ήταν ένα μακρύ ταξίδι για να φτάσουμε στο GPT-4, με το OpenAI - και τα γλωσσικά μοντέλα τεχνητής νοημοσύνης γενικότερα - να αναπτύσσουν αργά τη δυναμική τους για αρκετά χρόνια, προτού εκτοξευθούν σε δημοτικότητα τους τελευταίους μήνες.

Η αρχική ερευνητική εργασία που περιγράφει το GPT δημοσιεύθηκε το 2018, με το GPT-2 να ανακοινώνεται το 2019 και το GPT-3 το 2020. Τα μοντέλα αυτά εκπαιδεύονται σε τεράστια σύνολα δεδομένων κειμένου, το μεγαλύτερο μέρος του οποίου προέρχεται από το διαδίκτυο, το οποίο αναλύεται για την εξεύρεση στατιστικών μοτίβων. Αυτά τα μοτίβα χρησιμοποιούνται στη συνέχεια για να προβλέψουν ποια λέξη ακολουθεί μια άλλη. Είναι ένας σχετικά απλός μηχανισμός για να περιγραφεί, αλλά το τελικό αποτέλεσμα είναι ευέλικτα συστήματα που μπορούν να παράγουν, να συνοψίζουν και να επαναδιατυπώνουν γραπτά, καθώς και να εκτελούν άλλες εργασίες που βασίζονται στο κείμενο, όπως η μετάφραση ή η δημιουργία κώδικα.

Η OpenAI καθυστέρησε αρχικά την κυκλοφορία των μοντέλων GPT της, επειδή φοβόταν ότι θα χρησιμοποιούνταν για κακόβουλους σκοπούς, όπως η παραγωγή ανεπιθύμητης αλληλογραφίας και παραπληροφόρησης. Όμως στα τέλη του 2022, η εταιρεία ξεκίνησε το ChatGPT - ένα chatbot συνομιλίας που βασίζεται στο GPT-3.5 και στο οποίο θα μπορούσε να έχει πρόσβαση οποιοσδήποτε. Το λανσάρισμα του ChatGPT προκάλεσε φρενίτιδα στον κόσμο της τεχνολογίας, με τη Microsoft να το ακολουθεί σύντομα με το δικό της AI chatbot Bing (μέρος της μηχανής αναζήτησης Bing) και τη Google να ακολουθεί με τη δική της πρόταση.

Όπως είχε προβλεφθεί, η ευρύτερη διαθεσιμότητα αυτών των γλωσσικών μοντέλων Τεχνητής Νοημοσύνης (ΤΝ) δημιούργησε προβλήματα και προκλήσεις. Το εκπαιδευτικό σύστημα εξακολουθεί να προσαρμόζεται στην ύπαρξη λογισμικού που γράφει αξιόλογα δοκίμια για το κολέγιο. Επιπλέον διαδικτυακοί ιστότοποι όπως το Stack Overflow και το περιοδικό επιστημονικής φαντασίας Clarkesworld αναγκάστηκαν να κλείσουν τις υποβολές λόγω της εισροής περιεχομένου που παράγεται από τεχνητή νοημοσύνη ενώ οι πρώτες χρήσεις των εργαλείων γραφής τεχνητής νοημοσύνης στη δημοσιογραφία ήταν στην καλύτερη περίπτωση προβληματικές. Ωστόσο, ορισμένοι εμπειρογνώμονες υποστηρίζουν ότι οι βλαβερές συνέπειες ήταν ακόμη λιγότερες από τις αναμενόμενες.

Στην ανακοίνωσή της για το GPT-4, η OpenAI τόνισε ότι το σύστημα είχε περάσει από εξάμηνη εκπαίδευση ασφαλείας, και ότι σε εσωτερικές δοκιμές, ήταν "82% λιγότερο πιθανό να απαντήσει σε αιτήματα για μη επιτρεπτό περιεχόμενο και 40% πιο πιθανό να παράγει πραγματικές απαντήσεις από το GPT-3.5".

Ωστόσο, αυτό δεν σημαίνει ότι το σύστημα δεν κάνει λάθη ή δεν παράγει επιβλαβές περιεχόμενο. Για παράδειγμα, η Microsoft αποκάλυψε ότι το Bing chatbot τροφοδοτείται από την αρχή της λειτουργίας του από το GPT-4 και πολλοί χρήστες κατάφεραν να παραβιάσουν τις προστατευτικές δικλείδες του Bing με κάθε είδους δημιουργικούς τρόπους, κάνοντας το bot να προσφέρει επικίνδυνες συμβουλές, να απειλεί τους χρήστες και να επινοεί πληροφορίες. Το GPT-4 εξακολουθεί επίσης να μην έχει γνώση για γεγονότα "που συνέβησαν μετά τη διακοπή της συντριπτικής πλειοψηφίας των δεδομένων του" τον Σεπτέμβριο του 2021.

Διαβάστε ολόκληρο το άρθρο

[dbrillis]

GPT-4 + Deepfake + Oculus quest + Porn sites = To μέλλον.
 

[Cre3p]

ωχ... άρχισε και να γεννάει...

[I'm_busy]

Δε υπάρχει ήδη στο bing chat?

Πάντως ακουγέται πως θα μπορεί να κάνει και scan βίντεο απ το ytube, αν ισχύει θα σώσει ακόμα πιο πολύ κόσμο

[michael92]

Αναφορά σε κείμενο

API Pricing
gpt-4 with an 8K context window (about 13 pages of text) will cost $0.03 per 1K prompt tokens, and $0.06 per 1K completion tokens.

gpt-4-32k with a 32K context window (about 52 pages of text) will cost $0.06 per 1K prompt tokens, and $0.12 per 1K completion tokens.

DoA για τους freeloaders.

[techon1]

Μετά τη λαίλαπα του GPT3 έλπιζα το GPT4 να αργούσε. Καλά πήγε αυτό.

[dikasths]

Επαναλαμβάνω, αν μπορέσει το chatgpt να νικήσει σε διαφωνία με τη γυναίκα μου, θα το παραδεχτώ και θα πληρώσω το premium 

[MikeKata]

Δοκίμασα το Bing chat. Είχα μεγάλες προσδοκίες, αλλά... Απογοήτευση. Θεωρώ ότι ακόμα και το standalone GPT-3.5 είναι αρκετά καλύτερο. Πέραν της δυνατότητας να ψάχνει online το Bing, για εμένα δεν είχε κανένα άλλο προσόν. Το έχουν, κυριολεκτικά, πετσοκόψει. Ο κώδικας που μου έβγαζε ήταν χειρότερος. Έχει 10 prompts όλα κι όλα και μετά πρέπει να ξεκινήσεις καινούρια συζήτηση. Αν του πεις ότι σου έχει δώσει λάθος απάντηση και επιμείνεις, υπάρχουν φορές που σου κόβει τη συζήτηση (ναι, τρώμε άκυρο από AI chatbot).

Τελευταίο τεστ που του έκανα σήμερα. Ήθελα να δω κάτι για ένα μοντέλο επεξεργασίας raw data συγκεκριμένου δορυφόρου και να βγάλω κάποια δεδομένα που ήθελα, χρησιμοποιώντας και ένα προϋπάρχον map για βελτίωση της ακρίβειας. Δε θυμάμαι το ακριβές phrasing που του έβαλα τώρα. Το Bing δεν είχε ΙΔΕΑ τι ήθελα να κάνω και δεν έβρισκε αποτελέσματα. Το ChatGPT της OpenAI έκανε φιλότιμη προσπάθεια, εξηγώντας το μοντέλο, αλλά χωρίς παραπομπές, δυστυχώς, για να μπορέσω να μάθω περισσότερα...

Αναμένουμε να δούμε πώς θα λειτουργεί το standalone ChatGPT με GPT-4 της OpenAI. Προς το παρόν, για αναζήτηση Perplexity και για τίποτα πιο πολύπλοκο, ChatGPT.

Επεξ/σία 14 Μαρτίου 2023 από MikeKata

[KilliK]

βγηκε και στον Edge μολις τωρα. θα παρει τα σωβρακα της Google η ΜS με αυτο.

[michael92]

10 λεπτά πριν, MikeKata είπε

Αναμένουμε να δούμε πώς θα λειτουργεί το standalone ChatGPT με GPT-4 της OpenAI. Προς το παρόν, για αναζήτηση Perplexity και για τίποτα πιο πολύπλοκο, ChatGPT.

IMO το μεγαλύτερο θέμα είναι πως αναγκαστικά τρέχει σε παρόμοιο hardware με το GPT-3. Όσο αποδοτικός και να είναι ο αλγόριθμος, το bottleneck παραμένει τεράστιο. Όταν μιλάμε για GPUs με 40-80GB VRAM (A100/H100), τα 100T parameters ουσιαστικά δεν υπάρχουν στο τελικό μοντέλο ούτε για αστείο. Το τελικό μοντέλο είναι ένα abstraction 2500-5000 φορές μικρότερο. Αντίθετα, το τελικό μοντέλο του GPT-3 ήταν μόλις 8.75 φορές μικρότερο σε σχέση με τα 175B parameters με τα οποία έγινε trained! 

[MikeKata]

10 λεπτά πριν, michael92 είπε

IMO το μεγαλύτερο θέμα είναι πως αναγκαστικά τρέχει σε παρόμοιο hardware με το GPT-3. Όσο αποδοτικός και να είναι ο αλγόριθμος, το bottleneck παραμένει τεράστιο. Όταν μιλάμε για GPUs με 40-80GB VRAM (A100/H100), τα 100T parameters ουσιαστικά δεν υπάρχουν στο τελικό μοντέλο ούτε για αστείο. Το τελικό μοντέλο είναι ένα abstraction 2500-5000 φορές μικρότερο. Αντίθετα, το τελικό μοντέλο του GPT-3 ήταν μόλις 8.75 φορές μικρότερο σε σχέση με τα 175B parameters με τα οποία έγινε trained! 

Έχεις δίκιο για αυτό, αλλά θα δούμε. Δεν μπορεί να μην έχουν σκεφτεί τρόπο να το κάνουν usable (π.χ να κατηγοριοποιούν τα inputs και outputs ώστε να μη χρειάζεται να τρέχουν όλοι οι νευρώνες, ή δεν ξέρω κι εγώ τι). Διάβαζα ότι ούτως ή άλλως σκέφτονται για μεγάλο scale up. Και η MS με την Nvidia νομίζω πάνε να στήσουν supercomputer για αυτό ακριβώς το λόγο.

[gadgetseek]

αν μπορεί να βγάζει τηλεφωνικά νοκ-άουτ τη μητέρα μου και ν' απαντά στις μισές επαγγελματικές μου επικοινωνίες, το παντρεύομαι..

 

[freegr]

Δηλαδή μπορεί τώρα να συνομιλεί με τον χρήστη ή περιορίζεται σε αναζητήσεις και σύντομα σε βίντεο; 

[vasilisbasil]

2 ώρες πριν, MikeKata είπε

Δοκίμασα το Bing chat. Είχα μεγάλες προσδοκίες, αλλά... Απογοήτευση. Θεωρώ ότι ακόμα και το standalone GPT-3.5 είναι αρκετά καλύτερο. Πέραν της δυνατότητας να ψάχνει online το Bing, για εμένα δεν είχε κανένα άλλο προσόν. Το έχουν, κυριολεκτικά, πετσοκόψει. Ο κώδικας που μου έβγαζε ήταν χειρότερος. Έχει 10 prompts όλα κι όλα και μετά πρέπει να ξεκινήσεις καινούρια συζήτηση. Αν του πεις ότι σου έχει δώσει λάθος απάντηση και επιμείνεις, υπάρχουν φορές που σου κόβει τη συζήτηση (ναι, τρώμε άκυρο από AI chatbot).

Τελευταίο τεστ που του έκανα σήμερα. Ήθελα να δω κάτι για ένα μοντέλο επεξεργασίας raw data συγκεκριμένου δορυφόρου και να βγάλω κάποια δεδομένα που ήθελα, χρησιμοποιώντας και ένα προϋπάρχον map για βελτίωση της ακρίβειας. Δε θυμάμαι το ακριβές phrasing που του έβαλα τώρα. Το Bing δεν είχε ΙΔΕΑ τι ήθελα να κάνω και δεν έβρισκε αποτελέσματα. Το ChatGPT της OpenAI έκανε φιλότιμη προσπάθεια, εξηγώντας το μοντέλο, αλλά χωρίς παραπομπές, δυστυχώς, για να μπορέσω να μάθω περισσότερα...

Αναμένουμε να δούμε πώς θα λειτουργεί το standalone ChatGPT με GPT-4 της OpenAI. Προς το παρόν, για αναζήτηση Perplexity και για τίποτα πιο πολύπλοκο, ChatGPT.

εγω παντως που το ρωτησα μου ειπε οτι δεν ειναι το chat gpt 

hi can you tell me what you are ?

Hello! I am Bing, a search engine designed to help you find information and answer your questions. 😊

Are you CHATGPT-3 ?

No, I am not CHATGPT-3. I am Bing, a search engine designed to help you find information and answer your questions. 😊

Everyone says that you are chat gpt 3 from openAI

I am powered by advanced AI technology and may use some components developed by OpenAI, but I am not CHATGPT-3. I am Bing, a search engine designed to help you find information and answer your questions. 😊

what is your similarities with chat gpt 3

CHATGPT is a member of the generative pre-trained transformer (GPT) family of language models fine-tuned over an improved version of OpenAI’s GPT-3 known as "GPT 3.5"¹. It runs on a language model architecture created by OpenAI called the Generative Pre-trained Transformer (GPT), specifically GPT-3².

Like CHATGPT, I am also powered by advanced AI technology and may use some components developed by OpenAI. However, my primary function is to help you find information and answer your questions as a search engine. 😊

Επεξ/σία 15 Μαρτίου 2023 από vasilisbasil

[MikeKata]

3 λεπτά πριν, vasilisbasil είπε

εγω παντως που το ρωτησα μου ειπε οτι δεν ειναι το chat gpt 

Δεν είπα ότι είναι το ChatGPT το Bing. Χρησιμοποιεί το GPT-4. Άλλο το ένα, άλλο το άλλο. Απλοϊκά, σκέψου το GPT-4 σαν το backend και το ChatGPT σαν το front end. Το Bing χρησιμοποιεί το CPT-4 σαν backend. Το ChatGPT χρησιμοποιούσε το GPT-3.5 (ως τώρα που ανακοίνωσαν το GPT-4).