Build για local LLM με 70B parameters

[Axelq]

Καλή χρονιά σε όλους.

Θέλω να  φτιάξω σύστημα που να αντέξει να τρέχει LLM με 70B parameters με αρχεία που έχω από την εργασία μου που δε θέλω να τα ανεβάσω online.

Έχω δοκιμάσει με το LLama 3 με 8B parameters με τη RTX 4060 αλλά δεν είναι και πολύ "έξυπνο".

Στόχος είναι να μπορεί να τρέξει το Llama 3 70B (4-bit quantized model), με 1-2 RTX 3090 24GB ή 4 Refirbished Nvidia P40 (24GB)

Ευπρόσδεκτες όλες οι προτάσεις, ειδικά εάν έχετε φτιάξει παρόμοια συστήματα.

Επεξ/σία Πέμπτη στις 03:02 μμ από Axelq

[Sheogorath]

14 λεπτά πριν, Axelq είπε

Καλή χρονιά σε όλους.

Θέλω να  φτιάξω σύστημα που να αντέξει να τρέχει LLM με 70B parameters με αρχεία που έχω από την εργασία μου που δε θέλω να τα ανεβάσω online.

Έχω δοκιμάσει με το LLama 3 με 8B parameters με τη RTX 4060 αλλά δεν είναι και πολύ "έξυπνο".

Στόχος είναι να μπορεί να τρέξει το Llama 3 70B (4-bit quantized model), με μία ή δύο RTX 3090 24GB.

Ευπρόσδεκτες όλες οι προτάσεις, ειδικά εάν έχετε φτιάξει παρόμοια συστήματα.

Καλησπέρα, το έχω ψάξει αρκετά και έχω δει άπειρα video. Εφτιαξα και ένα σερβερ χαμηλού κόστους πρόσφατα και πλέον βλέπω για αναβάθμιση GPUs.
Η πιο οικονομική λύση είναι πολλές RTX 4060ti 16GB. Μέχρι 4 κάνει scale, μέχρι 3 έχει νόημα. Τα 24GB Vram είναι πολύ οριακά. Θες 32+ και με 48 με 3 4060ti είσαι καλά. Σε επόμενο βήμα πας σε 3 4070ti super.

Στις φωτογραφίες το δικό μου "σεβερ". Δες πατέντες για ψύξη αν θες ιδέες.

Με την λογική ότι θες πολλές PCI express για 3-4 κάρτες, προτείνω τα παρακάτω.

https://www.skroutz.gr/s/40205887/ASRock-WRX80-Creator-R2-0-Wi-Fi-Motherboard-Extended-ATX-me-AMD-SP3-Socket.html
https://www.skroutz.gr/s/54359039/AMD-Ryzen-Threadripper-Pro-3945WX-4GHz-Epexergastis-12-Pyrinon-gia-Socket-sWRX8-Tray.html
https://www.skroutz.gr/s/20591891/G-Skill-Ripjaws-V-64GB-DDR4-RAM-me-4-Modules-4x16GB-kai-Tachytita-3600-gia-Desktop-F4-3600C18Q-64GVK.html

https://www.skroutz.gr/s/56618123/Corsair-RM1000x-1000W-Mayro-Trofodotiko-Ypologisti-Full-Modular.html

3X https://www.skroutz.gr/s/46260438/MSI-GeForce-RTX-4060-Ti-16GB-GDDR6-Ventus-2X-Black-OC-Karta-Grafikon-V517-005R.html Επειδή είναι 2slot, χωράνε 4 σύνολο.

 

Απο την άλλη αν βρεις φθηνά 2 3090 ή 4090, μαζι σου. Πας σε νεότερο σοκετ ΑΜ5 απλά θες διπλές Χ8 θύρες, και η μητρική είναι πάλι στα 450+ ευρώ.

Επεξ/σία Πέμπτη στις 03:05 μμ από Sheogorath

[Axelq]

Με την Intel Arc ήθελα να μάθω τι γίνεται και αν έχει νόημα να περιμένει κανείς την B580 με 24GB μου φημολογείται πως θα έχει σε αρκετά προσιτή τιμή.

[Sheogorath]

Δεν θα πήγαινα σε intel είναι η αλήθεια, για DL/AI. Είναι νωρίς ακόμα.

[hawkpilot]

17 hours ago, Sheogorath said:

Καλησπέρα, το έχω ψάξει αρκετά και έχω δει άπειρα video. Εφτιαξα και ένα σερβερ χαμηλού κόστους πρόσφατα και πλέον βλέπω για αναβάθμιση GPUs.
Η πιο οικονομική λύση είναι πολλές RTX 4060ti 16GB. Μέχρι 4 κάνει scale, μέχρι 3 έχει νόημα. Τα 24GB Vram είναι πολύ οριακά. Θες 32+ και με 48 με 3 4060ti είσαι καλά. Σε επόμενο βήμα πας σε 3 4070ti super.

Στις φωτογραφίες το δικό μου "σεβερ". Δες πατέντες για ψύξη αν θες ιδέες.

Με την λογική ότι θες πολλές PCI express για 3-4 κάρτες, προτείνω τα παρακάτω.

https://www.skroutz.gr/s/40205887/ASRock-WRX80-Creator-R2-0-Wi-Fi-Motherboard-Extended-ATX-me-AMD-SP3-Socket.html
https://www.skroutz.gr/s/54359039/AMD-Ryzen-Threadripper-Pro-3945WX-4GHz-Epexergastis-12-Pyrinon-gia-Socket-sWRX8-Tray.html
https://www.skroutz.gr/s/20591891/G-Skill-Ripjaws-V-64GB-DDR4-RAM-me-4-Modules-4x16GB-kai-Tachytita-3600-gia-Desktop-F4-3600C18Q-64GVK.html

https://www.skroutz.gr/s/56618123/Corsair-RM1000x-1000W-Mayro-Trofodotiko-Ypologisti-Full-Modular.html

3X https://www.skroutz.gr/s/46260438/MSI-GeForce-RTX-4060-Ti-16GB-GDDR6-Ventus-2X-Black-OC-Karta-Grafikon-V517-005R.html Επειδή είναι 2slot, χωράνε 4 σύνολο.

 

Απο την άλλη αν βρεις φθηνά 2 3090 ή 4090, μαζι σου. Πας σε νεότερο σοκετ ΑΜ5 απλά θες διπλές Χ8 θύρες, και η μητρική είναι πάλι στα 450+ ευρώ.

Πόσα t/s σου δίνουν οι 4060ti σε 70B LLM (και ποιο χρησιμοποιείς αν επιτρέπεται)?

[Sheogorath]

2 ώρες πριν, hawkpilot είπε

Πόσα t/s σου δίνουν οι 4060ti σε 70B LLM (και ποιο χρησιμοποιείς αν επιτρέπεται)?

Δεν το έχω κάνει εγώ. Έχω βίντεο με scaling πιο πάνω. Δεν έχω καταφέρει να τρέξω 70Β στο δικό μου, και μάλλον θα το κάνω με δυο παλιές Tesla αν βρω γιατί δεν έχω να δώσω 2 χιλιάρικα σε κάρτες

[panatha1369]

Σκεφτομουν και εγω αλλα με 3060 12gb vram..Αλλα επειδη το ψαχνω μπορεις να παιξεις και με amd καρτες..

[Sheogorath]

6 λεπτά πριν, panatha1369 είπε

Σκεφτομουν και εγω αλλα με 3060 12gb vram..Αλλα επειδη το ψαχνω μπορεις να παιξεις και με amd καρτες..

Επισήμως απλά μόνο με σειρά 6000 και πάνω. Οι 5000 δεν παίζουν επίσημα δυστυχώς.

Θα δοκιμάσω 5500ΧΤ σύντομα ελπίζω, και ενημερώνω.