Βοήθεια με Cloud GPU για LLM Testing

[Billator]

Καλησπέρα σε όλους, δουλεύω πάνω σε ένα μικρό project (proof of concept και είναι η πρώτη φορά που δοκιμάζω) και θέλω να φτιάξω ένα support chatbox χρησιμοποιώντας το Mistral-7B-Instruct-v0.2 (είναι ζητούμενο να χρησιμοποιηθεί αυτό το μοντέλο). 

Έχω στήσει τα πάντα όπως θέλω απλά είναι πρακτικά αδύνατο να κάνω ένα 15λεπτο testing με screen recording. 
Δεν έχω GPU με CUDA και με CPU processing αν και είναι "οκ" για testing , είναι αδύνατο σχεδόν να μπορέσω να το κάνω recording. 

Έχει κάποιος να προτείνει κάτι; Δεν υπάρχει πρόβλημα να είναι paid solution αρκεί να λειτουργεί με όσο πιο μικρό processing time γινεται για τους λόγους παρουσίασης.
Σας ευχαριστώ εκ των προταίρων.

[stefanos50]

14 ώρες πριν, Billator είπε

Καλησπέρα σε όλους, δουλεύω πάνω σε ένα μικρό project (proof of concept και είναι η πρώτη φορά που δοκιμάζω) και θέλω να φτιάξω ένα support chatbox χρησιμοποιώντας το Mistral-7B-Instruct-v0.2 (είναι ζητούμενο να χρησιμοποιηθεί αυτό το μοντέλο). 

Έχω στήσει τα πάντα όπως θέλω απλά είναι πρακτικά αδύνατο να κάνω ένα 15λεπτο testing με screen recording. 
Δεν έχω GPU με CUDA και με CPU processing αν και είναι "οκ" για testing , είναι αδύνατο σχεδόν να μπορέσω να το κάνω recording. 

Έχει κάποιος να προτείνει κάτι; Δεν υπάρχει πρόβλημα να είναι paid solution αρκεί να λειτουργεί με όσο πιο μικρό processing time γινεται για τους λόγους παρουσίασης.
Σας ευχαριστώ εκ των προταίρων.

Καλησπέρα, όταν έκανα το μεταπτυχιακό μου οι περισσότεροι που δεν είχαν GPU τα έτρεχαν στο google colab οπότε θα σου πρότεινα να κοιτάξεις εκεί. Λογικά και η free έκδοση αρκεί για να τρέξεις αυτά τα τοπικά LLM με 7 δισ. παραμέτρους. Ωστόσο, έχει και κάποια paid plans με περισσότερους πόρους αν χρειαστεί. Πάντως επειδή πρόσφατα είδα αντίστοιχα τοπικά μοντέλα σε ένα project στην δουλειά δεν μου φάνηκαν οι απαντήσεις αρκετά ικανοποιητικές. Υπάρχει λύση και με το gemini api της google που τρέχει απευθείας σε αυτούς και τα αποτελέσματα είναι αρκετά καλύτερα (βέβαια από ότι αναφέρεις πρέπει να χρησιμοποιηθεί υποχρεωτικά αυτό). 

Επεξ/σία 27 Οκτωβρίου 2024 από stefanos50

[Billator]

45 λεπτά πριν, stefanos50 είπε

Καλησπέρα, όταν έκανα το μεταπτυχιακό μου οι περισσότεροι που δεν είχαν GPU τα έτρεχαν στο google colab οπότε θα σου πρότεινα να κοιτάξεις εκεί. Λογικά και η free έκδοση αρκεί για να τρέξεις αυτά τα τοπικά LLM με 7 δισ. παραμέτρους. Ωστόσο, έχει και κάποια paid plans με περισσότερους πόρους αν χρειαστεί. Πάντως επειδή πρόσφατα είδα αντίστοιχα τοπικά μοντέλα σε ένα project στην δουλειά δεν μου φάνηκαν οι απαντήσεις αρκετά ικανοποιητικές. Υπάρχει λύση και με το gemini api της google που τρέχει απευθείας σε αυτούς και τα αποτελέσματα είναι αρκετά καλύτερα (βέβαια από ότι αναφέρεις πρέπει να χρησιμοποιηθεί υποχρεωτικά αυτό). 

Σε ευχαριστώ! Θα το κοιτάξω και θα το δοκιμάσω, όσο το έψαχνα εκεί κατέληγα και εγώ. 

Δεν με πειράζει αν είναι paid ή free, αν εγκριθεί το project δεν θα χρησιμοποιηθεί το συγκεκριμένο LLM θα δωθεί άλλο. Οπότε ότι αφορά τα accuracy των responses αυτό είναι στο επόμενο στάδιο.