Η κινεζική DeepSeek ταράζει τα νερά της τεχνητής νοημοσύνης με το μοντέλο R1

[tony_boy]

6 ώρες πριν, filip123go είπε

Είχα πάντα την απορία, γιατι η Ευρώπη δεν έχει "τεχνολογικούς κολοσσούς" , όπως τους λέμε...

Meta, alphabet, και γενικώς , οι μεγαλύτερες εταιρείες τεχνολογίας, είναι είτε αμερικανικές, είναι ασιατικές.. Ευρώπη μια Νοκια είχε, που ήταν γνωστή, και αυτή πουλήθηκε και μετά τα περισσότερα τμήματα, έκλεισαν.

Τώρα με το ΑΙ, τα ίδια. Αντί να έχει το καλύτερο μοντέλο, που να βοηθήσει τους Ευρωπαίους πολίτες και να το δώσει και δωρεάν εντός ΕΕ (να πάρει και τα δεδομένα που χρειάζεται 😉 ), κάθεται και αναλύει και βγάζει περιορισμούς και νόμους για ξένα μοντέλα. Δεν λέω, καλό είναι και αυτό, αλλά φτιάξε και κάτι δικό σου... 

Γιατί στην Ευρώπη το κεφάλαιο δεν το έχουν τα αντίστοιχα χέρια που το έχουν στην Αμερική, Αγγλία ή στην Ασία. Στην Ασία το κεφάλαιο είναι κρατικό και γίνεται σωστή διανομή (πχ λέει ο κομμα: φτιάχτε λιθογραφία 3nm. Τρέχουν οι απο κάτω σωστά και το κόμμα επιβλέπει. Αν τα φάει κάποιος έχει τιμωρία). Στην Αμερική και στην Αγγλία το κεφάλαιο που κινεί τα πράγματα (εν μέρη γιατί δεν είναι μόνο αυτό το κεφάλαιο) είναι παραγωγικό. Δηλαδή έχει βάση στην βιομηχανία/γεωργία. Άρα δεν το συμφέρει να μένει πίσω. Στην Ευρώπη, κατα κύριο λόγο το κεφάλαιο προέρχεται και ανήκει σε παλιές οικογένειες. Δύσκολα υπάρχει μετακίνηση κεφαλαίου σε νέες επενδύσεις εκεί για διαφόρους λόγους. Ένας απο αυτούς είναι οτι ποτέ δεν είχε την ανάγκη να το το κάνει. Πχ έκανε εξόρυξη Πλουτονίου απο την Αφρική. Αφου η Αφρική είναι αποικία (των γάλλων μεταξύ άλλων) γιατι να μπει στον κόπο να βρει νέες μορφές ενέργειας πιο οικονομικές όταν έχει φθηνό πλουτόνιο; Το ίδιο με την αυτοκινητοβιομηχανία. Αφού είχε την Ευρώπη και την Ασία σαν αγορές, γιατί να μπει στον κόπο για να το εξελίξει; Να που ο κόσμος όμως δεν λειτουργεί έτσι και η Ευρψπαϊκή ελίτ δεν μπορεί να το κατανοήσει. (Το ίδοι ισχύει και για μέρος της Αμερικανικής και Αγγλικής ελιτ που την έχει βολέψει είτε με πολέμους είτε με τα χρηματοπιστωτικά του City και δεν το ενδιαφέρει η παραγωγή)

[StavrosD]

7 ώρες πριν, Thessgr είπε

Ακόμα περιμένεις φθηνή (οκ απλώς προσιτή) κάρτα γραφικών;

Καημένε μου gamer.... 

Οι τιμές των μεταχειρισμένων GPU θα πέσουν σύντομα.

Ο ένας λόγος είναι το Project digits της Nvidia. Με 3000$ +φόρους θα αγοράζει κάποιος DIGITS με 128GB RAM! Όσοι έχουν ήδη GPU για ΑΙ θα τις πουλήσουν καθώς θα αγοράσουν το Digits. Επίσης θα μειωθεί η ζήτηση για νέες GPU.

Ο δεύτερος λόγος είναι οι επεξεργαστές της Apple. Ήδη πολλοί επαγγελματίες αλλά και χομπίστες αγοράζουν Mac για ΑΙ. Με λιγότερα από 6.000€ αγοράζεις υπολογιστή με 128GB τα οποία τα χρησιμοποιεί η GPU και η Neural Engine.

Συγκριτικά, ακόμα και μεταχειρισμένες RTX 3090 να πάρει κάποιος για να έχεις τουλάχιστον 128GB GPU RAM πρέπει να πάρει 6 κάρτες (144GB), με 700€/κάρτα βγαίνει 4.200€. Αν βάλεις και τροφοδοτικό, επεξεργαστή, μητρική, κλπ, το κόστος ξεπερνάει κατά πολύ το DIGITS ή τα Mac.

Έχω 2 κάρτες με 24GB και τρέχω το DeepSeek R1 (distilled, quantized). Το αποτέλεσμα είναι απίστευτο. Δεν ξέρω αν θα πάρω το Digits αλλά σίγουρα θα πάρω καμιά 3090 ακόμα σε μερικούς μήνες που θα πέσουν κάτω από τα 400€.

[nekrik]

Optimization rather than brute force ! 

[prefuse]

14 hours ago, StavrosD said:

Οι τιμές των μεταχειρισμένων GPU θα πέσουν σύντομα.

Ο ένας λόγος είναι το Project digits της Nvidia. Με 3000$ +φόρους θα αγοράζει κάποιος DIGITS με 128GB RAM! Όσοι έχουν ήδη GPU για ΑΙ θα τις πουλήσουν καθώς θα αγοράσουν το Digits. Επίσης θα μειωθεί η ζήτηση για νέες GPU.

Ο δεύτερος λόγος είναι οι επεξεργαστές της Apple. Ήδη πολλοί επαγγελματίες αλλά και χομπίστες αγοράζουν Mac για ΑΙ. Με λιγότερα από 6.000€ αγοράζεις υπολογιστή με 128GB τα οποία τα χρησιμοποιεί η GPU και η Neural Engine.

Συγκριτικά, ακόμα και μεταχειρισμένες RTX 3090 να πάρει κάποιος για να έχεις τουλάχιστον 128GB GPU RAM πρέπει να πάρει 6 κάρτες (144GB), με 700€/κάρτα βγαίνει 4.200€. Αν βάλεις και τροφοδοτικό, επεξεργαστή, μητρική, κλπ, το κόστος ξεπερνάει κατά πολύ το DIGITS ή τα Mac.

Έχω 2 κάρτες με 24GB και τρέχω το DeepSeek R1 (distilled, quantized). Το αποτέλεσμα είναι απίστευτο. Δεν ξέρω αν θα πάρω το Digits αλλά σίγουρα θα πάρω καμιά 3090 ακόμα σε μερικούς μήνες που θα πέσουν κάτω από τα 400€.

NVIDIA GeForce RTX 4090: The GeForce RTX 4090 delivers over 1,300 TOPS, providing substantial computational power for AI-related tasks.

Apple M4 Max: The M4 Max chip features a 16-core Neural Engine capable of 38 TOPS, enhancing its ability to handle AI and machine learning tasks efficiently.


In summary, the NVIDIA GeForce RTX 4090 offers over 1,300 TOPS, while the Apple M4 Max provides 38 TOPS. Specific TOPS data for the RTX 5090 is not available, but it is anticipated to exceed the RTX 4090's performance due to its advanced architecture.

Τι μπορεί να τρέξει η apple με μόνο 38 TOPS, συγκριτικά με τα 1300 TOPS της 4090 και τα διαφημιζομενα 3400 TOPS για την 5090?

Αυτός δεν είναι και ο λόγος όπου ακούγεται ότι μάλλον θα αλλάξει σχεδιασμό στα νέα m5/m6 για να μπορεί να υποστηρίζει GPU (που δεν θα είναι κολλημένη στο chip)

[atheatos]

48 λεπτά πριν, prefuse είπε

NVIDIA GeForce RTX 4090: The GeForce RTX 4090 delivers over 1,300 TOPS, providing substantial computational power for AI-related tasks.

Apple M4 Max: The M4 Max chip features a 16-core Neural Engine capable of 38 TOPS, enhancing its ability to handle AI and machine learning tasks efficiently.


In summary, the NVIDIA GeForce RTX 4090 offers over 1,300 TOPS, while the Apple M4 Max provides 38 TOPS. Specific TOPS data for the RTX 5090 is not available, but it is anticipated to exceed the RTX 4090's performance due to its advanced architecture.

Τι μπορεί να τρέξει η apple με μόνο 38 TOPS, συγκριτικά με τα 1300 TOPS της 4090 και τα διαφημιζομενα 3400 TOPS για την 5090?

Αυτός δεν είναι και ο λόγος όπου ακούγεται ότι μάλλον θα αλλάξει σχεδιασμό στα νέα m5/m6 για να μπορεί να υποστηρίζει GPU (που δεν θα είναι κολλημένη στο chip)

Απλα στα mac η μνήμη είναι unified και μπορεί να έχεις ενα m2 ultra για παράδειγμα με 192gb μνήμης που για να το πετύχεις αυτο με κάρτες γραφικών θελεις mining ring που λεει ο λόγος....

Πέρα από τα TOPS και η μνήμη παίζει ρόλο αν θες να τρέξεις ένα μεγάλο σε μέγεθος μοντέλο. Και 5000 TOPS  να έχεις αν έχεις μνήμη μονο 30 ή 40 gb δεν μπορείς να κάνεις και πολλά πράγματα αν τα ΑΙ μοντέλα θελουν χώρο για να δουλέψουν. 

Επεξ/σία 27 Ιανουαρίου από atheatos

[prefuse]

7 minutes ago, atheatos said:

Απλα στα mac η μνήμη είναι unified και μπορεί να έχεις ενα m2 ultra για παράδειγμα με 192gb μνήμης που για να το πετύχεις αυτο με κάρτες γραφικών θελεις mining ring που λεει ο λόγος....

Πέρα από τα TOPS και η μνήμη παίζει ρόλο αν θες να τρέξεις ένα μεγάλο σε μέγεθος μοντέλο. Και 5000 TOPS  να έχεις αν έχεις μνήμη μονο 30 ή 40 gb δεν μπορείς να κάνεις και πολλά πράγματα αν τα ΑΙ μοντέλα θελουν χώρο για να δουλέψουν. 

Άρα ότι χάνουν σε tops τα m chip το κερδίζουν με την unified memory και φαντάζομαι δεν υπάρχει (ακόμα) τρόπος να "ενοποιήσεις" την ram ενός PC με την GPU ram, ώστε να έχεις το όφελος των tops μιας 5090 με τα 192gb ram του ίδιου PC.

Επεξ/σία 27 Ιανουαρίου από prefuse

[atheatos]

4 λεπτά πριν, prefuse είπε

Άρα ότι χάνουν σε tops τα m chip το κερδίζουν με την unified memory και φαντάζομαι δεν υπάρχει (ακόμα) τρόπος να "ενοποιήσεις" την ram ενός PC με την GPU ram, ώστε να έχεις το όφελος των tops μιας 5090 με τα 192gb ram του ίδιου PC.

Μπορεί να υπάρχει τρόπος αλλα μάλλον είναι περιορισμένος ωστε οι εταιρείες να πουλάνε specialized hardware για AI. Αν άφηναν να γίνει unified η μνήμη δεν χρειαζόταν να αγοράζουμε κάθε φορά καινούργια κάρτα γραφικών ή κάρτα με πολλά gb που θα βγάζανε. Θα προσθέταμε μνήμη στο pc και η κάρτα γραφικών  μας από 8gb θα γινοταν 16gb και όχι μόνο 

Anyway εν αναμονή του M4 ultra που από ότι φαίνεται θα έχει αρκετές Thunderbolt 5 ωστε να κοτσαρεις κάρτες γραφικών έστω και εξωτερικά.

[StavrosD]

1 ώρα πριν, prefuse είπε

In summary, the NVIDIA GeForce RTX 4090 offers over 1,300 TOPS, while the Apple M4 Max provides 38 TOPS. Specific TOPS data for the RTX 5090 is not available, but it is anticipated to exceed the RTX 4090's performance due to its advanced architecture.

Όπως προαναφέρθηκε, ένας βασικός παράγοντας είναι το bandwidth της μνήμης. O Μ4 Ultra έχει memory bandwidth 546GBps ενώ η 4090 έχει λίγο πάνω από 1000GBps. ΕΑΝ το μοντέλο χωράει στην μνήμη της 4090 (ή των 4090 αν έχει κάποιος πολλές) τότε ναι, η 4090 είναι πιο γρήγορη. Αν δεν χωράει στην μνήμη της GPU τότε ο Μ4 είναι πιο γρήγορος.

59 λεπτά πριν, prefuse είπε

Άρα ότι χάνουν σε tops τα m chip το κερδίζουν με την unified memory και φαντάζομαι δεν υπάρχει (ακόμα) τρόπος να "ενοποιήσεις" την ram ενός PC με την GPU ram, ώστε να έχεις το όφελος των tops μιας 5090 με τα 192gb ram του ίδιου PC.

Υπάρχει τρόπος να τα ενοποιήσεις αλλά χάνεις πολύ σε επιδόσεις. Η DDR5 έχει memory bandwidth 64GBps, σε dual channel πας στα 128GBps. Είναι σχεδόν το 1/4 του memory bandwidth που έχει ο M4 Ultra.

Έχω πειραματιστεί με μοντέλα που δεν χωράγανε στις GPU, για το proof of concept είναι καλά αλλά μέχρι να πάρεις απάντηση από το LLM έχεις ξεχάσει τι ρώτησες.

[apikoulas]

Στις 26/1/2025 στις 9:55 ΜΜ, StavrosD είπε

Έχω 2 κάρτες με 24GB και τρέχω το DeepSeek R1 (distilled, quantized). Το αποτέλεσμα είναι απίστευτο. Δεν ξέρω αν θα πάρω το Digits αλλά σίγουρα θα πάρω καμιά 3090 ακόμα σε μερικούς μήνες που θα πέσουν κάτω από τα 400€.

Σορυ για την ασχετοσυνη μου, αλλά σε τι motherboard μπορείς να βάλεις 3 και 4 και παραπάνω κάρτες και να παίζουν μαζί για AI στο ίδιο RIG;

Και τις βλέπει κανονικά ένα Local LLM όπως το Ollama η LM Studio κτλ;

Και τι πέναλτυ πληρώνεις που η μνήμη δεν είναι ενιαία; Και απο ταχύτητα interference έχεις επί Ν, αν έχεις Ν κάρτες;

Είναι όλες στο ίδιο PC, η παίζουν μέσω δικτύου; Φαντάζομαι χωρίς SLI, που έτσι και αλλιώς έχει πεθάνει, σωστά;

Μήπως είναι αυτά τα ειδικά mobos που είχαν για το mining;

Σε επρηξα, αλλά θα μας φωτίσεις όλους!

 

EDIT: Βρήκα σχεδόν όλες τις απαντήσεις και ακόμα περισσότερα εδώ https://digitalspaceport.com/homelab-ai-server-rig-tips-tricks-gotchas-and-takeaways/

Επεξ/σία 28 Ιανουαρίου από apikoulas
Link για ολες τις απαντήσεις!

[StavrosD]

Σε όλες τις μητρικές με αρκετά pcie slots μπορείς να τοποθετήσεις πολλές GPU. Προσωπικά έχω μια MSI Raider x299.

Υπάρχουν και adapter με τους οποίους μπορείς να συνδέσεις σε ένα PCIe slot έως και 4 GPU.

Η ταχύτητα μειώνεται στο μισό σε σχέση με μια GPU αλλά ναι πάλι είναι ικανοποιητική η απόδοση. Π.χ. Από τα 24 tokens /sec πέφτει στα 13. Λίγοι μπορούν να διαβάσουν πιο γρήγορα την απάντηση του LLM.

https://www.reddit.com/r/LocalLLaMA/s/8A7evPJOLN

 

[prefuse]

1.1 τρισεκατομμύρια έκαναν φτερά.

620 δισεκατομμύρια έχασε η Nvidia

[StavrosD]

 

[vste]

Πώς το βρίσκετε;;

[prefuse]

18 minutes ago, vste said:

Πώς το βρίσκετε;;

Για πες του να το μεταφράσει στα αγγλικά και κινέζικα;

[kostasperv]

Είναι κρίμα να ανοίγετε κόντρες πολιτικής ιδεολογίας ενώ οι "φίλοι" μας οι "καουμπόηδες" δύουν και μάλιστα με γρήγορους ρυθμούς σε όλα τα παγκόσμια μέτωπα...