Η AMD ανακοίνωσε το δικό της LLM-powered AI chatbot

[polemikos]

H AMD ανακοίνωσε το δικό της LLM-powered AI chatbot που βασίζεται στις δυνατότητες του GPT της OpenAI και «τρέχει» σε τοπικό επίπεδο σε υπολογιστές που διαθέτουν επεξεργαστή με δυνατότητες AMD Ryzen AI ή κάρτα γραφικών Radeon RX 7000-series. 

Το νέο AI chatbot της AMD μπορεί και «τρέχει» σε διάφορες πλατφόρμες Ryzen AI, συμπεριλαμβανομένων των Ryzen 7000 και 8000-series APUs που ενσωματώνουν μονάδα νευρωνικής επεξεργασίας (NPU) αρχιτεκτονικής XDNA καθώς και σε κάρτες γραφικών Radeon RX 7000-series με πυρήνες επιτάχυνσης AI.

Η εταιρεία ανάρτησε στο blog της έναν οδηγό που μπορεί να σας βοηθήσει με την εγκατάσταση και τις ρυθμίσεις που απαιτούνται για να λειτουργήσετε σε τοπικό επίπεδο το δικό σας AI chatbot που τροφοδοτείται από GPT-based LLMs (Large Language Models). Αν διαθέτετε υπολογιστή με επεξεργαστή ή μονάδα επιταχυνόμενης επεξεργασίας (APU), χρειάζεστε ένα τυπικό αντίγραφο του LM Studio για Windows ενώ αν διαθέτετε κάρτα γραφικών Radeon RX 7000-series αρχιτεκτονικής RDNA3, τότε χρειάζεστε το ROCm (Technical Preview).  

Η AMD δεν είναι η πρώτη εταιρεία που κάνει κάτι τέτοιο, αλλά στην ουσία ακολουθεί την NVIDIA που πρώτη ανακοίνωσε το «Chat with RTX», ένα AI chatbot που για να «τρέξει» απαιτεί κάρτα γραφικών GeForce RTX 40 ή RTX 30-series. Την επιτάχυνση του, αναλαμβάνει το σετ χαρακτηριστικών TensorRT-LLM και προσφέρει ταχύτατα αποτελέσματα δημιουργικής ή παραγωγικής Τεχνητής Νοημοσύνης που βασίζονται σε τοπικά σύνολα δεδομένων.

Μετά λοιπόν την ανακοίνωση της NVIDIA, η AMD έκανε γνωστή τη διάθεση της δικής της εκδοχής για ένα AI chatbot που λειτουργεί σε τοπικό επίπεδο. Εφόσον λοιπόν διαθέτετε υπολογιστή με hardware που πληροί τις προδιαγραφές, μπορείτε να ανατρέξετε στην ιστοσελίδα της AMD για να δείτε πως να το διαμορφώσετε-ρυθμίσετε.

Διαβάστε ολόκληρο το άρθρο

[Toper Harley]

If you want A.I ... UPGRADE 

[evark]

O πυρήνας NPU είναι πολύ απλός, κάνει ελάχιστες πράξεις, αλλά ένα τσιπ μπορεί να περιέχει εκατοντάδες, ή χιλιάδες, το θέμα είναι το software και εκεί η NVIDIA έχει πάρει κεφάλι αφού το δικό της ΑΡΙ έχει κυριαρχήσει. Οι άλλοι θα πρέπει να φιάξουν συμβατές υλοποιήσεις... όλα θα παιχτούν στο κόστος και την ταχυτητα.

[pirmen56]

Όπως πάντα πρόκειται για μια εταιρεία που αντιγράφει τους πρωτοπόρους για να μην δείξει στους μετόχους ότι έχει χάσει το τρένο των εξελίξεων.

[leros2004]

37 minutes ago, pirmen56 said:

Όπως πάντα πρόκειται για μια εταιρεία που αντιγράφει τους πρωτοπόρους για να μην δείξει στους μετόχους ότι έχει χάσει το τρένο των εξελίξεων.

Για την intel λες?

[nikolakis3]

Τα καλά είναι οτι:

Τρέχει τοπικά χωρίς να χρειάζεται επικοινωνία, την ώρα του chatting, με κάποιο σερβερ

Μπορεί κάποιος να κατεβάσει και να δοκιμάσει διάφορα LLMs από το HuggingFace

Yπάρχει και έκδοση για λίνουξ

[NiKoSmile]

Κατεβάζω το Google DeepMind AI Model και ας μην έχω Ryzen 7000 και 8000-series APUs. 😅

[tuxpower]

3 ώρες πριν, nikolakis3 είπε

Yπάρχει και έκδοση για λίνουξ

Διόρθωση... υπάρχει και έκδοση για windows πια..

Για linux υπήρχε απο την αρχή..

[patatasc]

Η είδηση είναι νομίζω λάθος. Οδηγούς και οδηγίες έδωσε, για να τρέχει κανείς open source μοντέλα.

[pirmen56]

13 ώρες πριν, leros2004 είπε

Για την intel λες?

Αναφορά σε κείμενο

Η AMD δεν είναι η πρώτη εταιρεία που κάνει κάτι τέτοιο, αλλά στην ουσία ακολουθεί την NVIDIA που πρώτη ανακοίνωσε το «Chat with RTX»