Η NVIDIA προσπαθεί να ανταποκριθεί στη ζήτηση για AI GPUs

[Crash24]

Το τμήμα των GPU της NVIDIA βιώνει μια μεγάλη αύξηση της ζήτησης λόγω της ανόδου των λύσεων που έχουν σχέση με την τεχνητή νοημοσύνη.

Η μακροπρόθεσμη επένδυση της εταιρείας στην τεχνητή νοημοσύνη έχει αποδώσει καρπούς με την επιτυχία των δημιουργικών μοντέλων AI, με χαρακτηριστικότερη ίσως περίπτωση αυτή του ChatGPT. Η όλη εξέλιξη έχει οδηγήσει σε αύξηση των παραγγελιών για τις τελευταίες GPU της NVIDIA, συμπεριλαμβανομένων των A100 και H100.

Ωστόσο, οι αναφορές δείχνουν ότι η NVIDIA μπορεί να δυσκολευτεί να ανταποκριθεί σε αυτή τη ζήτηση. Η εταιρεία αυξάνει την παραγγελία της στην TSMC όπου είναι υπεύθυνη για την κατασκευή, αλλά μένει να δούμε αν αυτό θα είναι αρκετό για να καλύψει την αυξανόμενη ζήτηση για επεξεργαστές AI.

Η ζήτηση για GPU υψηλής υπολογιστικής ικανότητας έχει εκτοξευθεί λόγω της έκρηξης της τεχνητής νοημοσύνης που προκάλεσε το ChatGPT. Αυτό έχει επιδεινωθεί περαιτέρω από την απαγόρευση των ΗΠΑ για τις πωλήσεις τσιπ AI στην Κίνα, οδηγώντας μεγάλες κινεζικές εταιρείες όπως η Baidu να αγοράσουν τις GPU της NVIDIA.

Οι A100 και H100 GPU της NVIDIA βασίζονται στην κατασκευαστική μέθοδο των 7nm και 4N της TSMC αντίστοιχα. Η H100, η οποία άρχισε να διατίθεται τον περασμένο Μάιο, έχει συναντήσει τεράστια ζήτηση για παρουσία της σε servers. Παρά τις προσπάθειες της NVIDIA να καλύψει τη ζήτηση, οι πρόσφατες εξελίξεις γύρω από το AI δυσκόλεψαν την εταιρεία να ανταποκριθεί στις ανάγκες των πελατών της.

Στην Κίνα, η NVIDIA προσφέρει τροποποιημένες εκδόσεις των A100 και H100, γνωστές ως A800 και H800. Τα τσιπ αυτά πωλούνται σε τιμές 40% υψηλότερες από την τιμή λιανικής τους λόγω της μεγάλης ζήτησης για AI GPU στην Κίνα. Επιπλέον, οι χρόνοι παράδοσης των GPU της NVIDIA στην Κίνα έχει επηρεαστεί. Η εταιρεία δίνει προτεραιότητα στους μη κινέζους τεχνολογικούς συνεργάτες της, γεγονός που οδηγεί σε μεγαλύτερους χρόνους παράδοσης στην Κίνα. Ορισμένες νέες παραγγελίες ενδέχεται να μην εκπληρωθούν μέχρι τον Δεκέμβριο, χρόνος αναμονής που ξεπερνά δηλαδή τους 6 μήνες.

Η υψηλή ζήτηση για τις GPU HPC και AI της NVIDIA θα μπορούσε ενδεχομένως να διαταράξει την προμήθεια των τσιπ για gaming GPUs, καθώς η εταιρεία διαθέτει περισσότερους πόρους προς το AI. Η NVIDIA εργάζεται σκληρά για να διασφαλίσει ότι μπορεί να συνεχίσει να προσφέρει τσιπ σε επαρκείς ποσότητες στους μεγαλύτερους συνεργάτες της, οι οποίοι είναι πρόθυμοι να πληρώσουν και μεγαλύτερο κόστος για τις κορυφαίες AI προτάσεις της εταιρείας.

Η NVIDIA υπήρξε σημαντική κινητήρια δύναμη πίσω από το ChatGPT και χιλιάδες GPU της τροφοδοτούν τα τρέχοντα και τα πιο πρόσφατα μοντέλα. Η εταιρεία αποκαλεί το AI ως μία επανάσταση για τη βιομηχανία υπολογιστών και τεχνολογίας και εργάζεται νυχθημερόν για να καλύψει την αυξανόμενη ζήτηση για τα προϊόντα της. 

Διαβάστε ολόκληρο το άρθρο

[Thresh]

13 minutes ago, Crash24 said:

Η H100, η οποία άρχισε να διατίθεται τον περασμένο Μάιο, έχει συναντήσει τεράστια ζήτηση για παρουσία της σε servers.

Άρα θα κόψει από την "consumer" παραγωγή των Ada (4N) για να δώσει στο Η100? 🤔

[JohnnyDragon]

Δεν καταλαβαίνω, αφού υπάρχει απαγόρευση των ΗΠΑ για τις πωλήσεις τσιπ AI στην Κίνα, πως η NVIDIA πουλάει στην Κίνα;

[pcos]

παντα κατι θα υπαρχει.

πριν ηταν το μιναρισμα, τωρα το ΑΙ, μετα τι?

[magictoboggan]

7 λεπτά πριν, pcos είπε

παντα κατι θα υπαρχει.

πριν ηταν το μιναρισμα, τωρα το ΑΙ, μετα τι?

Μετά το skynet

[teodoreh]

Αυτή η NVidia πραγματικά πρέπει να έχει λαγοπόδαρο!

Για 2+ χρόνια, τους έκατσε η φάση με το etherum και πουλήσανε μέχρι και τα σώβρακα τους. Και τώρα που το ether έγινε PoS και τα κρυπτονομίσματα ξεφούσκωσαν, να΄σου η τρέλα με το AI και τους AI cores. Και το καλύτερο από όλα: Η AMD δήλωσε πριν σκάσει η τρέλα του ChatGPT πως δεν προτίθεται να ανταγωνιστεί την NVidia στους AI cores, οπότε αυτή τη στιγμή παίζει να είναι 2~3 χρόνια πίσω σε development από την NVidia! Πραγματικά φυτρώνουν λεφτόδεντρα στον κήπο τους!

 

[StavrosD]

Τα σύγχρονα μοντέλα τεχνητής νοημοσύνης είναι εξαιρετικά απαιτητικά σε GPU VRAM.

Για την εκπαίδευση των μοντέλων οι εταιρείες έχουν χρησιμοποιήσει χιλιάδες GPU (με 80GB VRAM έκαστη) για εβδομάδες.

 

Έχω 2 GPU με 24GB έκαστη (48GB σύνολο) και οριακά τρέχω κάποια σύγχρονα μοντέλα.

 

Το LLaMA 65B του Facebok θέλει πάνω από 250GB GPU VRAM για να τρέξει (όχι για εκπαίδευση, μόνο για inference).

΄

Δύο επιπλέον λόγοι για τους οποίους υπάρχει ζήτηση σε νέες GPU είναι:

1. Δεν υπάρχει συμβατότητα νέων εκδόσεων του CudaTookit με παλαιότερες κάρτες γραφικών. Γι'αυτό η Nvidia K80 με 24GB κοστίζει μεταχειρισμένη κάτω από 100€ ενώ η 3090 με 24GB κοστίζει μεταχειρισμένη 700~1000€

2. Οι GPU δεν είναι αθάνατες, έχουν την τάση να χαλάνε μετά από μερικά χρόνια εντατικής χρήσης. Για επαγγελματία είναι αδιανόητη η χρήση μεταχειρισμένης GPU.

Επεξ/σία 25 Μαΐου 2023 από StavrosD

[filip123go]

Spoiler

 

[xristos97]

Μας εχεις πρηξει πετσινε

[TROIDX]

AI και συ nvidia...   ?

[Z3R@tuL]

Έβγαλε και τη 4060ti που στην ουσία είναι σαν μια 3060ti OC και καλά της ρίξανε κράξιμο με το μπάζο. Να δούμε με την 16GB vram μήπως κάπως το σώσουν.

Επεξ/σία 24 Μαΐου 2023 από Z3R@tuL

[CyanBlue]

Ότι και να γίνει, κατά πως φαίνεται η Nvidia θα έχει ζήτηση για το ένα ή το άλλο. Ποτίζεται με κάθε καιρό. 😁

[thanosAIAS]

Στο τέλος θα πρέπει να λέμε και ευχαριστώ που βγάζει ΚΑΙ GPUs για gamers....

[freegr]

Τώρα οδεύουμε σς άλλο επίπεδο δηλαδή θα μιλάνε για παιχνίδια με αυξημένες δραστηριότητες και εφέ…ιδίως το Α100 που οκ απλή ονομασία είναι. Α100 FM απλά μου θύμισε ιστορικό ΡΑΔΙΟΦΩΝΟ 

[panoskatos]

"

Τα τσιπ αυτά πωλούνται σε τιμές 40% υψηλότερες από την τιμή λιανικής τους λόγω της μεγάλης ζήτησης για AI GPU στην Κίνα. Επιπλέον, οι χρόνοι παράδοσης των GPU της NVIDIA στην Κίνα έχει επηρεαστεί. Η εταιρεία δίνει προτεραιότητα στους μη κινέζους τεχνολογικούς συνεργάτες της, γεγονός που οδηγεί σε μεγαλύτερους χρόνους παράδοσης στην Κίνα. Ορισμένες νέες παραγγελίες ενδέχεται να μην εκπληρωθούν μέχρι τον Δεκέμβριο, χρόνος αναμονής που ξεπερνά δηλαδή τους 6 μήνες.

Η υψηλή ζήτηση για τις GPU HPC και AI της NVIDIA θα μπορούσε ενδεχομένως να διαταράξει την προμήθεια των τσιπ για gaming GPUs, καθώς η εταιρεία διαθέτει περισσότερους πόρους προς το AI. Η NVIDIA εργάζεται σκληρά για να διασφαλίσει ότι μπορεί να συνεχίσει να προσφέρει τσιπ σε επαρκείς ποσότητες στους μεγαλύτερους συνεργάτες της, οι οποίοι είναι πρόθυμοι να πληρώσουν και μεγαλύτερο κόστος για τις κορυφαίες AI προτάσεις της εταιρείας.  "

 

Εδώ είναι ολη η παραμύθα , πουλάει ακριβότερα η κακομοίρα , δεν θα έχουν οι gamers gpu αλλά δουλευει σκληρά για να είναι όλοι ευχαριστημένοι .

Eγώ πιστεύω οτι σαν ινσομνια κοινότητα πρέπει να τσοντάρουμε ολοι μαζί ενα σεβαστό ποσό και να φτιάξουμε ενα μνημείο για την nVidia .

Επεξ/σία 25 Μαΐου 2023 από panoskatos