Το Chat with RTX της NVIDIA είναι ένα AI chatbot τύπου ChatGPT που λειτουργεί με τα τοπικά δεδομένα σας

[Crash24]

Η NVIDIA παρουσίασε πρόσφατα το νέο της chatbot τεχνητής νοημοσύνης με την ονομασία "Chat with RTX", με στόχο να ανταγωνιστεί κυρίως τα Custom GPTs αλλά με μια σημαντική διαφορά.

Το εργαλείο επιτρέπει στους κατόχους GeForce RTX GPU των σειρών 30 και 40 να εκτελούν συνομιλίες με το AI chatbot χωρίς να χρειάζεται να συνδεθούν στο Intrernet, ούτε να πληρώνουν κάποια συνδρομή, με μοναδική προϋπόθεση την παρουσία ενός Windows PC, και με στόχο την τοπική χρήση. Συγκεκριμένα, οι χρήστες μπορούν να προσαρμόσουν ένα μοντέλο chatbot παρόμοιο με το ChatGPT της OpenAI, το οποίο πραγματοποιεί ερωτήματα σε αρχεία και έγγραφα που έχει ο χρήστης στον υπολογιστή του, για να παρέχει χρήσιμες πληροφορίες.

Το Chat with RTX λειτουργεί με τo indexing αρχείων, σημειώσεων και άλλου περιεχομένου που είναι αποθηκευμένα τοπικά στον υπολογιστή του χρήστη, και το chatbot μπορεί στη συνέχεια να κάνει αναζήτηση. Η NVIDIA προειδοποιεί ότι ο συγχρονισμός όλων των προσωπικών δεδομένων θα μπορούσε να απαιτήσει σημαντικό αποθηκευτικό χώρο - δυνητικά 50-100 GB ανάλογα με παράγοντες όπως το μέγεθος του μοντέλου. 

Αντί να ψάχνουν απευθείας σε αρχεία, οι χρήστες απλώς πληκτρολογούν ερωτήματα και το Chat with RTX σαρώνει το περιεχόμενο που έχει γίνει indexing για να παρέχει αναλυτικές απαντήσεις. Για παράδειγμα, στην ερώτηση "Ποιο ήταν αυτό το εστιατόριο στο Λας Βέγκας που συνέστησε η γυναίκα μου;" θα μπορούσε να βρει το όνομα και άλλες λεπτομέρειες με βάση τα αρχεία στα οποία έχει πρόσβαση το εργαλείο.

Παρόλο που είναι παρόμοιο με άλλα chatbots ανοιχτού κώδικα, το Chat with RTX υποστηρίζει διάφορες αρχιτεκτονικές μοντέλων πέραν του κειμένου, όπως PDF, έγγραφα του Office, αντίγραφα βίντεο του YouTube και άλλα. Οποιαδήποτε συμβατά αρχεία σε επιλεγμένους φακέλους συμπληρώνουν αυτόματα το σύνολο δεδομένων λεπτομερούς ρύθμισης για την προσαρμογή των απαντήσεων, προκειμένου αυτές να είναι όσο το δυνατόν πιο χρήσιμες.

Ωστόσο, ένας βασικός περιορισμός είναι ότι το chatbot της NVIDIA δεν διαθέτει μακροπρόθεσμη μνήμη μεταξύ των ερωτήσεων. Αυτό σημαίνει ότι δεν μπορεί να συνδέσει το πλαίσιο της συνομιλίας, οπότε οι επακόλουθες ερωτήσεις θα ερμηνεύονται ανεξάρτητα, κάτι που δεν ισχύει με όλα τα άλλα γνωστά AI chatbots. Οι επιδόσεις ποικίλλουν επίσης ανάλογα με τις δυνατότητες του μοντέλου, το μέγεθος του συνόλου δεδομένων και τον τρόπο διατύπωσης των ερωτήσεων.

Το λανσάρισμα υπογραμμίζει την ανάπτυξη της NVIDIA σε νέους τεχνολογικούς τομείς πέρα από τις GPU. Η NVIDIA ξεπέρασε πρόσφατα την Amazon και έγινε η 4η μεγαλύτερη αμερικανική εταιρεία με βάση την αποτίμηση της εταιρείας. Τα τσιπ της κερδίζουν επίσης έδαφος, με τους πελάτες της εταιρείας να είναι βασικά όλοι όσοι επιθυμούν να ασχοληθούν με το ΑΙ. Εξαίρεση αποτελούν οι Κινεζικές εταιρείες, όπου με βάση τους περιορισμούς που θέτει η Αμερικανική κυβέρνηση, η NVIDIA είναι αναγκασμένη να διαθέτει τα προιόντα της με σημαντικούς περιορισμούς.

Διαβάστε ολόκληρο το άρθρο

[neced2]

  

9 minutes ago, Crash24 said:

Για παράδειγμα, στην ερώτηση "Ποιο ήταν αυτό το εστιατόριο στο Λας Βέγκας που συνέστησε η γυναίκα μου;" θα μπορούσε να βρει το όνομα και άλλες λεπτομέρειες με βάση τα αρχεία στα οποία έχει πρόσβαση το εργαλείο.

 

Άντε να κάτσει η γυναίκα στο "τοπικό pc" και να ρωτήσει την AI, "με πόσες άλλες μιλάει ο άντρας μου;"

Επεξ/σία 19 Φεβρουαρίου από neced2

[floba]

Η apple των gpu...🦧🦧🦧

[NiKoSmile]

Καθώς θα ομιλείτε με την GPU μετρήστε την κατανάλωση. Από περιέργεια το ζητάω, δεν είμαι κάτοχος RTX.

35,1 GB είναι μόνο να κατεβάσετε το demo... 😅

Επεξ/σία 19 Φεβρουαρίου από NiKoSmile

[Lomar]

28 minutes ago, floba said:

Η apple των gpu...🦧🦧🦧

Από ποια άποψη; 

[Athoz]

Δυστυχώς προς το παρόν, δεν μπορεί να εκπαιδευτεί σε ένα μηχάνημα και το μοντέλο να χρησιμοποιηθεί σε άλλο υπολογιστή, που δεν έχει συμβατή κάρτα γραφικών. Θα ήταν πολύ βολικό να μπορούσα να εκπαίδευα ένα μοντέλο με τα έγγραφα και email της δουλειάς στον υπολογιστή του σπιτιού (rtx 3060) και να έχω την απάντηση που ψάχνω στη δουλειά (1060 gpu), άμεσα.

[anax111]

Πολύ καλό αλλά με αυτόν τον τρόπο η Nvidia θα ξέρει όλα τα αρχεία που περιέχει το Pc σου ακόμα και τις πρωτότυπες δουλειές σου που δεν έχουν δημοσιευτεί πουθενά. Εξαιρετικά επικίνδυνο για τα προσωπικά σου δεδομένα.

[spectaculator]

Quote

Για παράδειγμα, στην ερώτηση "Ποιο ήταν αυτό το εστιατόριο στο Λας Βέγκας που συνέστησε η γυναίκα μου;" θα μπορούσε να βρει το όνομα και άλλες λεπτομέρειες με βάση τα αρχεία στα οποία έχει πρόσβαση το εργαλείο.

Aντί να το ψάξεις στο google τι καλύτερο θα μπορούσε να σου απαντήσει αυτό; Νομίζω πως αν θα ήταν να προσφέρει κάτι, μάλλον δεν θα ήταν κάτι σαν αυτό.

[Tablet]

3 ώρες πριν, Lomar είπε

Από ποια άποψη; 

Οτι δεν κοιματε ορθια σαν την AMD που βγαζει καρτουλες και δεν εχει κανενα κανενα βημα προς το μελλον (AI)

[Athoz]

1 hour ago, anax111 said:

Πολύ καλό αλλά με αυτόν τον τρόπο η Nvidia θα ξέρει όλα τα αρχεία που περιέχει το Pc σου ακόμα και τις πρωτότυπες δουλειές σου που δεν έχουν δημοσιευτεί πουθενά. Εξαιρετικά επικίνδυνο για τα προσωπικά σου δεδομένα.

Επίσημα δεν τα στέλνει εκτός του υπολογιστή σου, ανεπίσημα αν είναι offline (ή firewall block listed) δεν βλέπω πως μπορεί να σου πάρει τα δεδομένα.

Επεξ/σία 19 Φεβρουαρίου από Athoz

[Razor333]

17 ώρες πριν, Tablet είπε

Οτι δεν κοιματε ορθια σαν την AMD που βγαζει καρτουλες και δεν εχει κανενα κανενα βημα προς το μελλον (AI)

Καλά την MI300X δεν την λες καρτουλα..

[Tablet]

8 ώρες πριν, Razor333 είπε

Καλά την MI300X δεν την λες καρτουλα..

ναι οκ μιλάω για το γενικότερο πλαίσιο της amd που δεν έχει δώσει ακόμα κάτι στην κατεύθυνση ΑΙ

[Razor333]

1 ώρα πριν, Tablet είπε

ναι οκ μιλάω για το γενικότερο πλαίσιο της amd που δεν έχει δώσει ακόμα κάτι στην κατεύθυνση ΑΙ

Δεν είναι στο ίδιο επίπεδο με την Nvidia σε καμία περίπτωση, αλλά έχει τέτοιου είδους προϊόντα και αρκετές συνεργασίες με major κατασκευαστές server.

https://www.amd.com/en/graphics/servers-instinct-deep-learning