Η Apple θέλει να αποθηκεύσει LLMs στη μνήμη flash για να φέρει την AI σε κινητά και φορητούς υπολογιστές

[Crash24]

Η Apple εδώ και καιρό πειραματίζεται με τα μεγάλα γλωσσικά μοντέλα (LLM) που αποτελούν την κινητήριο δύναμη των περισσότερων σημερινών εφαρμογών τεχνητής νοημοσύνης.

Τώρα, μαθαίνουμε ότι η εταιρεία επιθυμεί να θέσει τα συγκεκριμένα μεγάλα γλωσσικά μοντέλα στην υπηρεσία των χρηστών των υπηρεσιών και συσκευών της με τον καλύτερο δυνατό τρόπο ωστόσο πρόκειται για ένα αρκετά δύσκολο έργο καθώς απαιτούνται πολλοί πόροι, τόσο υπολογιστικοί όσο και μνήμης.

Παραδοσιακά, τα LLMs απαιτούν επιταχυντές AI σε συνδυασμό με αρκετή ποσότητα DRAM για την αποθήκευση των βαρών (weights) των μοντέλων. Όμως πρόσφατα, η Apple δημοσίευσε ένα έγγραφο που αποκαλύπτει ότι η εταιρεία σκοπεύει να φέρει μεγάλα γλωσσικά μοντέλα σε συσκευές με περιορισμένη ποσότητα μνήμης. Με την αποθήκευση των LLMs σε μνήμη τύπου flash NAND, η μέθοδος περιλαμβάνει την κατασκευή ενός βασικού μοντέλου συμπερασματολογίας που εναρμονίζεται με τη συμπεριφορά της μνήμης flash καθοδηγώντας τη βελτιστοποίηση σε δύο κρίσιμους τομείς: στη μείωση του όγκου των δεδομένων που μεταφέρονται από τη μνήμη flash και την ανάγνωση δεδομένων σε μεγαλύτερα συνεχόμενα κομμάτια. Επίσης, αντί τα βάρη του μοντέλου να αποθηκεύονται στη μνήμη DRAM, η Apple θέλει τη μνήμη flash να χρησιμοποιείται για την αποθήκευση των βαρών, τα οποία στη συνέχεια μπορεί να τα τραβάει «κατά παραγγελία» στην DRAM μόνο όταν κριθεί απαραίτητο.

Στο framework της Apple που βασίζεται στη μνήμη flash παρουσιάζονται δύο βασικές τεχνικές: η μία ονομάζεται «windowing» και η άλλη «row-column bundling». Οι δύο συγκεκριμένες μέθοδοι επιτρέπουν στο σύνολο τους την εκτέλεση μοντέλων έως και διπλάσιου μεγέθους από το μέγεθος της διαθέσιμης DRAM, με 4-5x και 20-25x αύξηση της ταχύτητας εξαγωγής συμπερασμάτων (inference) σε σύγκριση με τις προσεγγίσεις εγγενούς εκφόρτωσης σε επεξεργαστή και κάρτα γραφικών αντίστοιχα.

Ενσωματώνοντας sparsity awareness, context-adaptive loading και hardware-oriented σχεδιασμό ανοίγει ο δρόμος για την πρακτική εφαρμογή της συμπερασματολογίας των μεγάλων γλωσσικών μοντέλων σε συσκευές με περιορισμένη μνήμη όπως είναι τα SoCs με 8, 16 ή 32 GB διαθέσιμης μνήμης DRAM. Ειδικά με τις τιμές της DRAM να ξεπερνούν κατά πολύ τις τιμές NAND Flash, ορισμένες συσκευές με περιορισμένη μνήμη, όπως είναι τα smartphones, θα μπορούσαν εύκολα να αποθηκεύσουν LLMs με πολλά δισεκατομμύρια παραμέτρους, ακόμη και αν η διαθέσιμη DRAM δεν επαρκεί για τη συγκεκριμένη δουλειά. Αν θέλετε να εμβαθύνετε περισσότερο στην τεχνολογία που προτείνει η Apple μπορείτε να διαβάσετε το σχετικό έγγραφο εδώ. 

Διαβάστε ολόκληρο το άρθρο

[jimakris]

Καλά ας δούμε επιτέλους την Siri στα ελληνικά και τα υπόλοιπα έπονται ….

 

μα δεν το καταλαβαίνω καθόλου πως στο dictation δουλεύει άψογα και στη Siri ακόμα δεν μπορούμε να μιλήσουμε ύστερα απο τόσα χρόνια !!!

[HateMe]

Κόλλημα πια με την Siri και τα Ελληνικά.

Πρώτα θα πεθάνουμε και μετά θα σκάσει το update. 

"Έλα Siri, πάρε μωρέ το γίδι τον Κώστα τηλ"
"ΕΕΕ ΣΙΡ, ΤΣΑΠΡΡΡΡΡΡΡΡΡ, Παίξε Έφη Θώδη - τα γίδια"

[svartevarg]

Κάθε συσκευή και μία εικονική οντότητα,

[BertaJourdan]

καθε φορα διαβαζω/ακουω για την Siri που δεν ξερει ελληνικα.

τι θα της λετε βρε παιδια...

εγω στα γερμανικα την εχω κλεισει και δεν μου λειπει καθολου.

Επεξ/σία 23 Δεκεμβρίου 2023 από BertaJourdan

[KukuRukuGR]

44 λεπτά πριν, HateMe είπε

Κόλλημα πια με την Siri και τα Ελληνικά.

Πρώτα θα πεθάνουμε και μετά θα σκάσει το update. 

"Έλα Siri, πάρε μωρέ το γίδι τον Κώστα τηλ"
"ΕΕΕ ΣΙΡ, ΤΣΑΠΡΡΡΡΡΡΡΡΡ, Παίξε Έφη Θώδη - τα γίδια"

Μαλλον εσυ το χρησιμοποιεις ετσι. εγω εχω γραψει νομικο εγγραφο με google ΑΙ στα ελληνικα . Απλως οσοι εχουν iphone δε ξερουν τι χανουν απο cloud υπηρεσιες της google. 

Επεξ/σία 23 Δεκεμβρίου 2023 από KukuRukuGR

[MacPap]

57 λεπτά πριν, KukuRukuGR είπε

Μαλλον εσυ το χρησιμοποιεις ετσι. εγω εχω γραψει νομικο εγγραφο με google ΑΙ στα ελληνικα . Απλως οσοι εχουν iphone δε ξερουν τι χανουν απο cloud υπηρεσιες της google. 

Μαλλον εσυ δεν ξέρεις τι δίνεις εσύ σαν αναταλλαγμα στην Google ...

[SeaLion]

1 ώρα πριν, KukuRukuGR είπε

Μαλλον εσυ το χρησιμοποιεις ετσι. εγω εχω γραψει νομικο εγγραφο με google ΑΙ στα ελληνικα . Απλως οσοι εχουν iphone δε ξερουν τι χανουν απο cloud υπηρεσιες της google. 

Ότι οι cloud υπηρεσίες της Google δεν είναι διαθέσιμες στο iPhone δηλαδή; 🤔

Φυσικά και είναι απαράδεκτο 17 εκδόσεις του iOS μετά να μην μπορείς να κάνεις ένα request  στα ελληνικά και το ChatGPT να σκάει έτσι, χαλαρά, έτοιμο για διάλογο.

[dimim]

Η Apple ανακαλύπτει το memory swap 🥰🤑🤩

[busellatos]

Να άφησε τα τα LLMS εκεί που είναι . Όλη ενάντια στην μεταφορά των ΕΛΕΛΕΜΣ από την ΈΙΠΛ .😁    Όλοι στο Σύνταγμα θα ακολουθήσει πορεία προς τα ανύπαρκτα γραφεία της στην ελλαδα

[freegr]

Μπορεί να τα καταφέρει με βάση τα βεα τρχνολογιξα δεδομένα, ιδωμεν..,

[Dimitris_1981]

20 ώρες πριν, KukuRukuGR είπε

Μαλλον εσυ το χρησιμοποιεις ετσι. εγω εχω γραψει νομικο εγγραφο με google ΑΙ στα ελληνικα . Απλως οσοι εχουν iphone δε ξερουν τι χανουν απο cloud υπηρεσιες της google. 

Κι εσυ δεν ξέρεις ποσά κερδίζει η Google … 😛

Και η Apple έχει αξιόπιστο dictation στα ελληνικά. Επίσης και η Microsoft έχει και την προτιμώ από την Google.
 
Επίσης μπλέκεις το ΑΙ Assistant στα ελληνικά με το dictation. Ούτε η Google δεν έχει στα ελληνικά. Το μόνο που έχουν κάνει MS και Google είναι να μιλάς ελληνικά στο Google search και στο bing AI. Όχι όμως στον Assistant.

Και η 3 μοιάζουν να έχουν την τεχνολογία αλλά για κάποιο λόγο δεν βάζουν ελληνικά στον assistant τους. Δεν ξέρω τι θα παίξει στο copilot.

[Vasilisxd]

Κλασική Apple, θα κάνει τα πάντα αρκεί το επόμενο MacBook Pro αρχικής τιμής 1700€ να έρχεται με 8Gb Ram 😂