H Meta επανέρχεται δυναμικά στα μοντέλα τεχνητής νοημοσύνης με το Llama 3.1

[adastra]

Πολύ ενθαρρυντικό ότι η META κρατάει τέτοιο πανάκριβο μοντέλο open source.

[Ne0n]

Στις 27/7/2024 στις 3:02 ΜΜ, adastra είπε

Πολύ ενθαρρυντικό ότι η META κρατάει τέτοιο πανάκριβο μοντέλο open source.

Πιστεύω ότι ακολουθεί την συνταγή Bill Gates , το αφήνει ελεύθερο ώστε να κερδίσει αργότερα από το πολύτιμο feedback των μετα-δεδομένων που θα παραχθούν από όσους το χρησιμοποιήσουν (και ίσως βελτιώσουν)

[adastra]

Δεν βλέπω πως θα ωφεληθεί από τα μετα-δεδομένα κρατώντας το open source. Όσοι το χρησιμοποιήσουν εννοείς οι μεγάλοι οργανισμοί που έχουν την δυνατότητα να το τρέξουν;

[Ne0n]

9 ώρες πριν, adastra είπε

Δεν βλέπω πως θα ωφεληθεί από τα μετα-δεδομένα κρατώντας το open source. Όσοι το χρησιμοποιήσουν εννοείς οι μεγάλοι οργανισμοί που έχουν την δυνατότητα να το τρέξουν;

Ένα opensource AI μπορεί να εγκατασταθεί και να χρησιμοποιηθεί από οποιονδήποτε ενδιαφέρεται, γιατί δεν είναι μόνο οι μεγάλοι οργανισμοί αλλά και εταιρίες ή χομπίστες του χώρου. (όπως για παράδειγμα το Linux που είναι επίσης opensource). Στην συνέχεια με την χρήση και τις δοκιμές που θα κάνουν οι διάφοροι ανεξάρτητοι developers θα παράγουν διάφορες μετατροπές και εξελίξεις του ,τις οποίες φυσικά θα τις κοινοποιούν και θα τις μοιράζονται στην αντίστοιχη κοινότητα που θα δημιουργηθεί.

Αυτό μειώνει φυσικά κατά πολύ το κόστος του developing για την μαμά εταιρία και ταυτόχρονα συμβάλει στην ταχύτερη διάδοση και εξέλιξη του.

Επεξ/σία 31 Ιουλίου από Ne0n

[adastra]

Ρεαλιστικά όμως χρειάζεσαι τεράστιους πόρους για να το τρέξεις. π.χ. από εδώ

- **RAM**: 800GB to 1TB of system memory

- Multiple high-end GPUs (think NVIDIA A100 or H100)

- Cumulative VRAM in the hundreds of gigabytes

- A high-core-count server CPU

- High-speed SSDs are a must

- NVMe drives in RAID configuration for optimal performance

- Multiple high-wattage PSUs

- Possibly even a dedicated power circuit in your building

It’s crucial to understand that running such a large model locally is not typical or practical for most users or even organizations. This level of hardware is usually found in:

- Specialized AI research labs
- High-performance computing centers
- Cloud computing providers

 

Επεξ/σία 31 Ιουλίου από adastra

[Ne0n]

16 ώρες πριν, adastra είπε

Ρεαλιστικά όμως χρειάζεσαι τεράστιους πόρους για να το τρέξεις. π.χ. από εδώ

- **RAM**: 800GB to 1TB of system memory

- Multiple high-end GPUs (think NVIDIA A100 or H100)

- Cumulative VRAM in the hundreds of gigabytes

- A high-core-count server CPU

- High-speed SSDs are a must

- NVMe drives in RAID configuration for optimal performance

- Multiple high-wattage PSUs

- Possibly even a dedicated power circuit in your building

It’s crucial to understand that running such a large model locally is not typical or practical for most users or even organizations. This level of hardware is usually found in:

- Specialized AI research labs
- High-performance computing centers
- Cloud computing providers

 

Όντως, προσωπικά έχω πάνω σε ένα σύστημα (GPU Server)  8(x) V100 και δεν φτάνουν ώστε να έχω το επιθυμητό 32GB(x)20 = 640GB ram στις GPU'S ώστε να τρέξω το 405 τοπικά. Συνολικά οι κάρτες μου έχουν 256GB ram και δεν μπορούν να το σηκώσουν σύμφωνα με τις προδιαγραφές που ζητάει. Αναγκαστικά θα πάω σε cluster που θα τρέχει την υφιστάμενη υποδομή μου σε συνδυασμό με νέα προσθήκη.

Σήμερα παράγγειλα περισσότερες κάρτες και έναν ακόμα νεότερο GPU Server ώστε να φτάσω στις ιδανικές απαιτήσεις για το 405 και βλέπουμε. Το 1TB System ram όμως το διαθέτω ήδη χάρη στον GPU Server που έχω εδώ και μερικά χρόνια τον οποίο τον είχα εξοπλίσει με αρκετή ram αρχικά όταν ξεκινούσα τα πειράματα μου στο machine learning.

Το να σηκώσεις και να συντηρήσεις το 405 το οποίο είναι η τελευταία και ultimate έκδοση του LIama ( υπάρχουν και οι μικρότερες προηγούμενες εκδόσεις του που έχουν αρκετά χαμηλότερες απαιτήσεις ) σε δική σου υποδομή τοπικά σίγουρα είναι πολύ ακριβή επένδυση όχι όμως απαγορευτική για οργανισμούς και μικρές εταιρίες που ασχολούνται με τον τομέα του ΑΙ , όπως αναφέρει το άρθρο. Κάλλιστα μπορείς να δοκιμάσεις τις προηγούμενες εκδόσεις του που είναι αρκετά ελαφρότερες και δεν είναι τόσο ακριβές σε απαιτήσεις. Υπάρχει και η λύση του cloud.vast για τις μικρές εταιρείες η οργανισμούς όπου μπορείς να νοικιάσεις έναν ιδανικό server ώστε να σηκώσεις τις προηγούμενες εκδόσεις του (το 405 είναι απαγορευτικό για χομπίστες  όχι όμως οι αρχικές εκδόσεις του LIama) και να κάνεις τα πειράματα σου εκεί σε λογικό κόστος, ανάλογα με το τί θέλεις να κάνεις φυσικά: https://cloud.vast.ai/?ref_id=126744&template_id=fd2e982e4facaf7b2918006939d1e06e

Υπάρχει και η συμβατική δωρεάν λύση του Ollama (προσφέρει πολλά libraries , μοντέλα και πόρους που έχει διαθέσιμα στην δική του υποδομή) και δεν απαιτεί μεγάλους πόρους σε τοπικό hardware για την χρήση των εκδόσεων του LIama πλην της 405  (στην έκδοση 3.1 70B που είναι σχετικά η πιο απαιτητική από τις προηγούμενες θα χρειαστεί πχ μια RTX 3090 και 64GB ram ενώ πχ στην έκδοση 3.1 8B αντίστοιχα μία 3070 και 8GB ram που είναι σαφώς φθηνότερη επιλογή) και είναι φυσικά ιδανική για τους χομπίστες : https://ollama.com

 

Επεξ/σία 1 Αυγούστου από Ne0n

[adastra]

Κάποια στιγμή θα πέσουν και οι τιμές στο hardware και θα γίνουν αυτά τα μοντέλα ποιο προσιτά (ίσως το Dojo D1 της Tesla καταφέρει να προσφέρει φτηνά cloud services). Είναι πολύ σημαντικό κατά την γνώμη μου να εκδημοκρατιστεί η τεχνολογία αυτή, δεν μπορεί να μένει στα χέρια ελάχιστων ανθρώπων (σαν τον Altman και τον Brin)