H κούρσα της τεχνητής νοημοσύνης συνεχίζεται με την κυκλοφορία του Claude 3

[BadIronTree]

I, for One, Welcome Our AI Overlords

[aposkama]

Όπως το είπες: παγοβουνο.

όταν μας "χτυπήσει" θα είναι αργά. Για την γενετική μπήκαν εγκαιρως κανόνες και επιτήρηση, στην Τεχνητή Νοημοσήνη, όμως τίποτα..... Είναι πάρα πολλά τα λεφτά...

[oldnew]

6 minutes ago, aposkama said:

Όπως το είπες: παγοβουνο.

όταν μας "χτυπήσει" θα είναι αργά. Για την γενετική μπήκαν εγκαιρως κανόνες και επιτήρηση, στην Τεχνητή Νοημοσήνη, όμως τίποτα..... Είναι πάρα πολλά τα λεφτά...

Σιγά τους κανόνες που μπήκαν και στη γενετική. Οποίος έχει τα λεφτά και την τεχνογνωσία πάει σε καποια χώρα που τον αφήνει και κανει οτι θέλει. Στον καπιταλισμο, ετσι όπως είναι σήμερα, δεν υπάρχουν απαγορεύσεις στην πραξη. Και ποσα απόρρητα πράγματα γίνονται σήμερα στη γενετική και δε θα μάθουμε ποτέ.. 

[geovision_gr]

Καλησπέρα σε όλους. Τι είναι το token που βάση αυτού σε χρεώνουν?

[gousias]

Σε επιλεγμένες περιοχές διαθέσιμο μόνο;;;

[oldnew]

1 hour ago, geovision_gr said:

Καλησπέρα σε όλους. Τι είναι το token που βάση αυτού σε χρεώνουν?

Ακριβώς δεν ξερω, αλλα στην ουσία, μετράνε πόσο το χρησιμοποιείς και πληρώνεις αντίστοιχα. Τωρα αν πάει με τα ερωτήματα ενα ενα ή κάτι άλλο άγνωστο. 

[michael92]

3 ώρες πριν, panther_512 είπε

Αυτή τη στιγμή οι επενδύσεις που γίνονται στην ΑΙ, από τις εταιρείες κολοσσούς δεν έχουν προηγούμενο. Μιλάμε για πάρα πολλά δισσεκατομμύρια σε υποδομές και έρευνα. Είναι στατιστικά βέβαιο ότι θα δούμε καινούργια breakthroughs και περαιτέρω άλματα στην ΑΙ.

Στατιστικά βέβαιο δεν είναι τίποτα. Τα περισσότερα χρήματα πάνε σε πανάκριβο hardware (μια H100 κάνει $30K) που σε 3 χρόνια θα είναι παρωχημένο (κυρίως λόγω VRAM) και το 2030 θα είναι για πέταμα. Αυτά τα χρήματα όμως από κάπου θα πρέπει να βγουν και προσωπικά δε βλέπω πολύ κόσμο πρόθυμο να πληρώνει μεγάλες συνδρομές για narrow AI. Ήδη το GPT4 χρεώνει 80% λιγότερο από ότι θα έπρεπε απλά για να μην μπαίνει μέσα και αυτό χωρίς καν να υπολογίσουμε την απόσβεση του hardware. 

Με πολλά χρήματα μπορείς να καθυστερήσεις το S-curve αλλά όχι να το νικήσεις.

Επεξ/σία 5 Μαρτίου από michael92

[Conan2046]

3 ώρες πριν, oldnew είπε

Αρα σύντομα θα χρειαστούμε καινούρια τεστ.. Μολις πιάσουν 100% δε θα έχουν καμία αξια.. 

 

 

Λογικά κάθε εταιρεία κάνει τα δικά της, δεν νομίζω να υπάρχει κάτι τυποποιημένο. πιο πολύ για να συγκρίνουν τις επιδόσεις μεταξύ τους το κάνουν και φαντάζομαι με τρόπο που να ευνοεί το αντίστοιχο μοντέλο τους. 

[michael92]

12 λεπτά πριν, Conan2046 είπε

Λογικά κάθε εταιρεία κάνει τα δικά της, δεν νομίζω να υπάρχει κάτι τυποποιημένο. πιο πολύ για να συγκρίνουν τις επιδόσεις μεταξύ τους το κάνουν και φαντάζομαι με τρόπο που να ευνοεί το αντίστοιχο μοντέλο τους. 

Ακριβώς. Τα test αυτά είναι κυρίως marketing. Προσωπικά ακόμα και από ένα narrow AI περιμένω να έχει μια στοιχειώδη δυνατότητα να διορθώνει έστω κάποια από τα λάθη του, χωρίς να χρειάζεται ντάντεμα μέσω prompting για να τα καταφέρει.

[patatasc]

2 ώρες πριν, geovision_gr είπε

Καλησπέρα σε όλους. Τι είναι το token που βάση αυτού σε χρεώνουν?

Εγώ καταλαβαίνω ότι είναι οι μικρές μονάδες που σπάει το κείμενό σου σε διανύσματα. Στην καλύτερη των περιπτώσεων ολόκληρες λέξεις, αλλά πιο συχνά τμήματα λέξεων. 3-7 χαρακτήρες.

[panther_512]

3 hours ago, michael92 said:

Στατιστικά βέβαιο δεν είναι τίποτα. Τα περισσότερα χρήματα πάνε σε πανάκριβο hardware (μια H100 κάνει $30K) που σε 3 χρόνια θα είναι παρωχημένο (κυρίως λόγω VRAM) και το 2030 θα είναι για πέταμα. Αυτά τα χρήματα όμως από κάπου θα πρέπει να βγουν και προσωπικά δε βλέπω πολύ κόσμο πρόθυμο να πληρώνει μεγάλες συνδρομές για narrow AI. Ήδη το GPT4 χρεώνει 80% λιγότερο από ότι θα έπρεπε απλά για να μην μπαίνει μέσα και αυτό χωρίς καν να υπολογίσουμε την απόσβεση του hardware. 

Με πολλά χρήματα μπορείς να καθυστερήσεις το S-curve αλλά όχι να το νικήσεις.

Θεωρείς πιθανό να βρεθούν σε αδιέξοδο?

Προσωπικά δεν το πιστεύω σε καμία περίπτωση.

[kammenostypos]

Για να δούμε και το bias του μοντέλου στα politically (in)correct ζητήματα. 

[michael92]

2 ώρες πριν, panther_512 είπε

Θεωρείς πιθανό να βρεθούν σε αδιέξοδο?

Προσωπικά δεν το πιστεύω σε καμία περίπτωση.

Είναι το πιο πιθανό σενάριο. Όπως είπα ήδη μπαίνουν μέσα με τα τωρινά μοντέλα. Στο leading edge ανεβαίνει το κόστος και η κατανάλωση ρεύματος, μειώνοντας την πραγματική πρόοδο στο ελάχιστο. Συγκεκριμένα, η B100 θα φτάσει τα 1000W έναντι των 700W της H100 και των 400W της A100, με ότι αυτό συνεπάγεται στις υποδομές των datacenters.

Γενικά, η στασιμότητα στην πρόοδο του hardware είναι γεγονός σε όλους τους τομείς. Από τα αναιμικά 3nm στο iPhone 15 Pro (10% πιο γρήγορο σε σχέση με το iPhone 14), στις overpriced consumer GPUs, μέχρι τους υπερυπολογιστές: https://www.hpcwire.com/2023/11/14/forget-zettascale-trouble-is-brewing-in-scaling-exascale-supercomputers/

Πρακτικά οι υπερυπολογιστές θα είναι 100 φορές πιο αργοί το 2030 από ότι αναμέναμε να είναι το 2027! 

Δεν είναι τυχαίο ότι ο Altman μίλησε για τρισεκατομμύρια δολάρια σε επενδύσεις. 

[panther_512]

Αυτό που λες έχει άμεση σχέση με την AGI, τη τεχνητή νοημοσύνη που θα μπορεί να να σκέφτεται όπως ένας άνθρωπος.

Εκεί χρειαζόμαστε breakthrough. Η συνδυαστική επεξεργαστική ισχύς όλων των υπερυπολογιστών του κόσμου μαζί, ζήτημα να φτάνουν τη δύναμη 2, 3 ανθρώπινων εγκεφάλων. Μπορεί και λιγότερο.

Δεν χρειάζεται όμως να φτάσουμε εκεί για να αλλάξει ο κόσμος μας δραματικά. Η ANI είναι υπεραρκετή.

Από την άλλη, αν δεις τις σχετικές γραφικές παραστάσεις της προόδου και επενδύσεων στην ΑΙ, από το 1950 μέχρι σήμερα, η πρόοδος έχει σημαντικά σκαμπανεβασματα (ΑΙ winters) , αλλά συνεχώς ανεβαίνει.

 Σε καμία περίπτωση δεν περιμένω τεχνολογικό αδιέξοδο. Το 1994 μας αφιέρωσαν ολόκληρο μαθημα στο πανεπιστήμιο για να μας εξηγήσουν ότι η συχνότητα των CPUs θα βρει hard limit στα 400MHz.

Πάνε μόλις 2 γενιές πίσω, στον παππού σου και δές τη διαφορά στην τεχνολογία.

Επεξ/σία 6 Μαρτίου από panther_512

[michael92]

9 ώρες πριν, panther_512 είπε

Αυτό που λες έχει άμεση σχέση με την AGI, τη τεχνητή νοημοσύνη που θα μπορεί να να σκέφτεται όπως ένας άνθρωπος.

Έχει σχέση και με τα δύο και το υψηλό κόστος θα επηρεάσει πολύ περισσότερο το narrow AI.  

10 ώρες πριν, panther_512 είπε

Από την άλλη, αν δεις τις σχετικές γραφικές παραστάσεις της προόδου και επενδύσεων στην ΑΙ, από το 1950 μέχρι σήμερα, η πρόοδος έχει σημαντικά σκαμπανεβασματα (ΑΙ winters) , αλλά συνεχώς ανεβαίνει.

Ανέβαινε γιατί το hardware γινόταν εκθετικά πιο γρήγορο στα ίδια λεφτά και με παρόμοια κατανάλωση ρεύματος. Ανέβαινε γιατί είχες καμιά 20αριά leading edge fabs ενώ τώρα έχεις 2. Τα πράγματα έχουν αλλάξει δραματικά.

9 ώρες πριν, panther_512 είπε

Σε καμία περίπτωση δεν περιμένω τεχνολογικό αδιέξοδο. Το 1994 μας αφιέρωσαν ολόκληρο μαθημα στο πανεπιστήμιο για να μας εξηγήσουν ότι η συχνότητα των CPUs θα βρει hard limit στα 400MHz.

Το 2004 βρήκαν hard limit στα 4GHz. 20 χρόνια μετά είμαστε στα 5-5.5GHz. Οι καθηγητές σου έπεσαν έξω κατά μια τάξη μεγέθους. Οι μηχανικοί της Intel έπεσαν έξω λιγότερο, αλλά ποτέ δεν παρέδωσαν τους 10GHz CPUs που είχαν υποσχεθεί.

Το τέλος του Dennard scaling ήταν γεγονός. Δεν υπήρξε τεχνολογικό αδιέξοδο, αλλά υπήρξε η πρώτη κρίση. Ο νόμος του Moore συνέχισε αλώβητος για άλλα 10 χρόνια και εστιάσαμε στο parallel computing. Μετά τα 20nm όμως (που ήταν αποτυχημένη λιθογραφία) και παρά τα FinFET, η εξέλιξη επιβραδύνθηκε και το κόστος ανέβηκε σημαντικά. Το πρόβλημα θα οξυνθεί περισσότερο με τα GAAFET.

10 ώρες πριν, panther_512 είπε

Πάνε μόλις 2 γενιές πίσω, στον παππού σου και δές τη διαφορά στην τεχνολογία.

Αυτό είναι μεγάλη συζήτηση. Αυτό που έχει αλλάξει ειδικά σε φτωχότερες χώρες όπως η Ελλάδα είναι η πρόσβαση στην τεχνολογία και όχι η τεχνολογία η ίδια. Πριν λίγες βδομάδες έτυχε να ψάξω πότε εφευρέθηκαν τα πρώτα electron microscopes και έπαθα πλάκα καθώς είχα την αίσθηση ότι εφευρέθηκαν τη δεκαετία του 60. Αν εξαιρέσεις τους υπολογιστές και τα consumer electronics η πρόοδος στην τεχνολογία μετά το 1970 έχει επιβραδυνθεί σημαντικά. Αυτό το βλέπεις τόσο στα στάσιμα εισοδήματα, στις επαναστατικές τεχνολογίες που δεν απέδωσαν καρπούς (π.χ πυρηνική σύντηξη) και στο προσδόκιμο ζωής, το οποίο έχει αυξηθεί ελάχιστα την τελευταία 20ετία στις ανεπτυγμένες χώρες.