Το AMD FSR χρησιμοποιεί την τεχνολογία… Lanczos που υπάρχει δεκαετίες τώρα

[pirmen56]

4 λεπτά πριν, chncynic είπε

Δεν ξέρω που είδες και γιατί θεωρείς πώς το super resolution σημαίνει  κάτι παραπάνω.

Wikipedia:
Super-resolution imaging (SR) is a class of techniques that enhance (increase) the resolution of an imaging system

Αυτό κάνει. Δεν είναι απάτη. Δεν  το παρουσιάζει σαν κάτι άλλο.

Επίσης είναι open source. Όποιος θέλει να δεί τι κάνει το πράγμα μπαίνει και βλέπει 😕
Δεν προσπάθησε ποτέ να ανταγωνιστεί  τεχνολογικά το DLSS  απ' ότι έχω διαβάσει. Πιο πολύ σαν standardising πάνε να κάνουνε ωστε να χρησιμοποιούν όλοι αυτό, εύκολα.

Οι τεχνικές super resolution προσπαθούν να εξάγουν αληθινή χαμένη λεπτομέρεια μέσα από ανάλυση δειγμάτων χαμηλής ανάλυσης. Επίσης όταν γνωρίζεις τους μηχανισμούς που προκαλούν απώλεια λεπτομέρειας και προσπαθείς να ακυρώσεις τις συνέπειές τους. Το DLSS είναι επομένως super resolution. Το FSR όχι.

http://zoi.utia.cas.cz/superresolution.html

Αναφορά σε κείμενο

 

Super-resolution imaging

Super-resolution (SR) is the process of combining a sequence of low resolution images in order to produce a higher resolution image or sequence.

 

 

[john_dr]

7 ώρες πριν, pirmen56 είπε

Οι τεχνικές super resolution προσπαθούν να εξάγουν αληθινή χαμένη λεπτομέρεια μέσα από ανάλυση δειγμάτων χαμηλής ανάλυσης. Επίσης όταν γνωρίζεις τους μηχανισμούς που προκαλούν απώλεια λεπτομέρειας και προσπαθείς να ακυρώσεις τις συνέπειές τους. Το DLSS είναι επομένως super resolution. Το FSR όχι.

http://zoi.utia.cas.cz/superresolution.html

 

Το FSR αυτό κάνει, το DLSS δεν βασίζεται μόνο σε χαμηλότερης ανάλυσης εικόνες, για αυτό και μερικές φορές παράγει υψηλοτερης ποιοτητας εικόνες από την native ανάλυση.

 

"DLSS 2.0 works as follows: The neural network is trained by Nvidia using "ideal" images of video games of ultra-high resolution on supercomputers and low resolution images of the same games. The result is stored on the video card driver. It is said that Nvidia uses DGX-1 servers to perform the training of the network."

[Retromaniac]

1 ώρα πριν, john_dr είπε

Το FSR αυτό κάνει, το DLSS δεν βασίζεται μόνο σε χαμηλότερης ανάλυσης εικόνες, για αυτό και μερικές φορές παράγει υψηλοτερης ποιοτητας εικόνες από την native ανάλυση.

 

"DLSS 2.0 works as follows: The neural network is trained by Nvidia using "ideal" images of video games of ultra-high resolution on supercomputers and low resolution images of the same games. The result is stored on the video card driver. It is said that Nvidia uses DGX-1 servers to perform the training of the network."

Όταν λέμε ότι το Dlss βασίζεται σε χαμηλότερες ανάλυσης εικόνες δεν εννοούμε το ίδιο με το fsr. Υπάρχει τρόπος μέσα από διαδοχικά frames, επειδή θα τύχει να γίνουν render διαφορετικά pixel λόγω της μετακίνησης, να "κρατήσεις" αυτά τα pixel ώστε να τα βάλεις σε επόμενο frame. Για αυτό και υπάρχουν μερικές φορές αυτά τα halo artifacts. Το fsr χρησιμοποιεί μόνο το τρέχων frame για να κάνει upscale. Για αυτό το λόγο λοιπόν τα pixel που συμπληρώνει το Dlss είναι πιο "πραγματικά" από το fsr που απλά μαντεύει 

[john_dr]

Παίζουμε με τις λέξεις τώρα. Το "αληθινά", "πιο πραγματικά", "λιγότερο πραγματικά" , "εικονικά", "μαντεψιές", δεν έχουν και πολύ σημασία εφόσον το αποτέλεσμα είναι πολύ κοντά στο επιθυμητό. Δεν είναι ότι κάνεις upscaling με το FSR φωτογραφία της Σάκκαρη και σου βγαίνει ο Τσιτσιπάς.

Επεξ/σία 10 Αυγούστου 2021 από john_dr

[chncynic]

8 ώρες πριν, pirmen56 είπε

Οι τεχνικές super resolution προσπαθούν να εξάγουν αληθινή χαμένη λεπτομέρεια μέσα από ανάλυση δειγμάτων χαμηλής ανάλυσης. Επίσης όταν γνωρίζεις τους μηχανισμούς που προκαλούν απώλεια λεπτομέρειας και προσπαθείς να ακυρώσεις τις συνέπειές τους. Το DLSS είναι επομένως super resolution. Το FSR όχι.

http://zoi.utia.cas.cz/superresolution.html

 

Ναι, όχι. Το link που πόσταρες εξηγεί το οτι μπορείς να συνδυάσεις inputs απο διαφορετικούς sensors για να ανεβάσεις το resolution. Δεν έχει καμία σχέση με αυτό που μιλάμε εδώ, στο οποίο έχεις 1 input στο οποίο κάνεις διάφορα passes ωστε να μπορέσεις να βγάλεις λεπτομέρεια.

Τέσπα, ορολογία είναι που χρησιμοποιείται διαφορετικά σε διαφορετικούς τομείς. Δεν υπάρχει κάτι κακό στην ορολογία που χρησιμοποιήθηκε, ούτε κλέψαν κάτι IMHO.

[Razor333]

Οποιαδηποτε τεχνικη μπορει να ανεβασει τα καρε και να κρατησει decent εικονα ειναι καλοδεχουμενη, το DLSS ομως ειναι η καλυτερη λυση, με κοστος σε silicon budget (δλδ cuda count), που για να το παρεις πισω πρεπει ολα τα games να το υποστηριζουν, κατι που δεν ισχυει, αν και βρισκεται πλεον σε πολλους τιτλους.

Το FSR δεν κοστιζει πρακτικα τιποτα σε hardware και ειναι μια απλη upscale λυση, βασισμενη σε παλιους interpolation αλγοριθμους που τους εκαναν να τρεχουν πιο γρηγορα, κατι που λυνει καποια προβληματα ομως π.χ. 4Κ gaming και light RT (shadows/AO, γελοιο GI/Reflections που καλυτερα να ηταν SSR/SSGI με software RT). 

Για μικροτερες αναλυσεις και real RT δεν προσφερει τιποτα πρακτικο, καλυτερα το game να υποστηριζει TAAU οπως ολα σε UE4, ακομα και αν χρειαστει να το κανεις force με UUU, π.χ. στο The Ascent που ειναι ακομα ενα new gen game που οι navi21 πηγαινουν χαλια σε 2560x1440p και πρεπει να κατεβεις σε 960p για το σχεδον 60αρι, ειδη το FSR εχει πεθαινει σε αυτη την αναλυση και δεν προκειται να σε σωσει, το TAAU ομως ειναι decent, οπως φυσικα και το πολυ καλυτερο DLSS.

[Retromaniac]

1 ώρα πριν, john_dr είπε

Παίζουμε με τις λέξεις τώρα. Το "αληθινά", "πιο πραγματικά", "λιγότερο πραγματικά" , "εικονικά", "μαντεψιές", δεν έχουν και πολύ σημασία εφόσον το αποτέλεσμα είναι πολύ κοντά στο επιθυμητό. Δεν είναι ότι κάνεις upscaling με το FSR φωτογραφία της Σάκκαρη και σου βγαίνει ο Τσιτσιπάς.

Δεν παίζουμε με τις λέξεις. Εσύ τις υποτιμάς γιατί η άποψη σου είναι biased. Βάζει αληθινά pixel, δεν μαντεύει. Σε αντίθεση με το fsr που το καλύτερο που μπορεί να κάνει είναι να έχει 0 aliasing κρατώντας ψηλά το contrast πράγμα που είναι αδύνατον 

[Aten-Ra]

Σε δυο χρόνια από τώρα με την επόμενη γενιά καρτών γραφικών θα έχουμε στα 500$ MSRP κάρτες με επιδώσεις αντίστοιχες με τις σημερινές RX6900XT και RTX3090. Οι περισσότεροι που θα αγοράσουν καινούργιο monitor/tv  θα αρχίσουν να πηγαίνουν σε 4Κ.  Αυτοί που θα είναι σε 1080p θα έχουν τόση δύναμη σε κάρτες μέχρι τα $300 MSRP που απλά δεν θα χρειάζεται να βάλουν DLSS/FSR , εκτός μόνο όταν ενεργοποιούν RayTracing η έχουν entry level κάρτες και integrated  γραφικά.

Καλό το DLSS για μικρές αναλύσεις αλλά το μέλλον είναι τα 4Κ και εκεί η διαφορά με το FSR είναι μηδαμινή.  

Επεξ/σία 10 Αυγούστου 2021 από Aten-Ra

[Retromaniac]

2 ώρες πριν, Aten-Ra είπε

Σε δυο χρόνια από τώρα με την επόμενη γενιά καρτών γραφικών θα έχουμε στα 500$ MSRP κάρτες με επιδώσεις αντίστοιχες με τις σημερινές RX6900XT και RTX3090. Οι περισσότεροι που θα αγοράσουν καινούργιο monitor/tv  θα αρχίσουν να πηγαίνουν σε 4Κ.  Αυτοί που θα είναι σε 1080p θα έχουν τόση δύναμη σε κάρτες μέχρι τα $300 MSRP που απλά δεν θα χρειάζεται να βάλουν DLSS/FSR , εκτός μόνο όταν ενεργοποιούν RayTracing η έχουν entry level κάρτες και integrated  γραφικά.

Καλό το DLSS για μικρές αναλύσεις αλλά το μέλλον είναι τα 4Κ και εκεί η διαφορά με το FSR είναι μηδαμινή.  

Κανείς λάθος. ΟΣΟ και να δυναμώσουν οι κάρτες πάντα θα μπορείς να βάζεις Dlss ή fsr για να ρίξεις την ανάλυση για να έχεις την επιλογή για ακόμη καλύτερα γραφικά.

[Aten-Ra]

16 λεπτά πριν, Retromaniac είπε

Κανείς λάθος. ΟΣΟ και να δυναμώσουν οι κάρτες πάντα θα μπορείς να βάζεις Dlss ή fsr για να ρίξεις την ανάλυση για να έχεις την επιλογή για ακόμη καλύτερα γραφικά.

Δεν κατάλαβα τι θες να πεις. Να ρίξεις την ανάλυση για να έχεις επιλογή για καλυτέρα γραφικά ???  μάλλον κάτι γράφεις λάθος.

[Retromaniac]

30 λεπτά πριν, Aten-Ra είπε

Δεν κατάλαβα τι θες να πεις. Να ρίξεις την ανάλυση για να έχεις επιλογή για καλυτέρα γραφικά ???  μάλλον κάτι γράφεις λάθος.

Όχι δεν γράφω. Εννοώ περισσότερα πολύγωνα, περισσότερο ray tracing, περισσότερα αντικείμενα, μεγαλύτερη απόσταση rendering κτλ 

[pirmen56]

8 ώρες πριν, john_dr είπε

Το FSR αυτό κάνει, το DLSS δεν βασίζεται μόνο σε χαμηλότερης ανάλυσης εικόνες, για αυτό και μερικές φορές παράγει υψηλοτερης ποιοτητας εικόνες από την native ανάλυση.

 

"DLSS 2.0 works as follows: The neural network is trained by Nvidia using "ideal" images of video games of ultra-high resolution on supercomputers and low resolution images of the same games. The result is stored on the video card driver. It is said that Nvidia uses DGX-1 servers to perform the training of the network."

Δεν πρέπει να συγχέουμε τη φάση της εκπαίδευσης του νευρωνικού δικτύου με τη φάση της εφαρμογής όλων των τεχνικών(που έμαθε κατά το training) στην πράξη.

Σε τελικό στάδιο η μόνη high-res εικόνα στην οποία βασίζεται το DLSS 2.0 είναι αυτή την οποία έχει ήδη δημιουργήσει το ίδιο(τρέχον native καρέ).

 

 

6 ώρες πριν, chncynic είπε

Ναι, όχι. Το link που πόσταρες εξηγεί το οτι μπορείς να συνδυάσεις inputs απο διαφορετικούς sensors για να ανεβάσεις το resolution. Δεν έχει καμία σχέση με αυτό που μιλάμε εδώ, στο οποίο έχεις 1 input στο οποίο κάνεις διάφορα passes ωστε να μπορέσεις να βγάλεις λεπτομέρεια.

Τέσπα, ορολογία είναι που χρησιμοποιείται διαφορετικά σε διαφορετικούς τομείς. Δεν υπάρχει κάτι κακό στην ορολογία που χρησιμοποιήθηκε, ούτε κλέψαν κάτι IMHO.

Θα στο πω με ένα παράδειγμα. Έστω ότι έχεις μια μέτρια κάμερα με πολύ θόρυβο. Ο θόρυβος καταστρέφει μέρος της λεπτομέρειας που έχει ένα καρέ. Σε κάθε καρέ όμως ο θόρυβος είναι διαφορετικός. Κρύβει διαφορετικό κομμάτι της λεπτομέρειας της εικόνας. Με άλλα λόγια είναι ένα σφάλμα με συγκεκριμένα στατιστικά χαρακτηριστικά.

Αν πάρεις πολλά καρέ(δείγματα) μιας σχετικά στατικής εικόνας, μπορείς με κατάλληλη ανάλυση να εξαλείψεις τον θόρυβο(σφάλμα) αποκαλύπτοντας τη λεπτομέρεια που θα είχες χωρίς αυτόν. Αρκεί να μην υπάρχουν σημαντικές αλλαγές μεταξύ των καρέ.

Αναφορά σε κείμενο

the signal-to-noise ratio is improved by suitable combination of several separately-obtained images (right)

Σε παρόμοια αρχή βασίζεται το DLSS 2.0. Στη γρήγορη κίνηση φυσικά θολώνει περισσότερο, αλλά εκεί θολώνει και η ανθρώπινη όραση.

Το FSR είναι interpolation. Αυθαίρετες υποθέσεις για την χαμένη λεπτομέρεια.

[chncynic]

39 λεπτά πριν, pirmen56 είπε

Δεν πρέπει να συγχέουμε τη φάση της εκπαίδευσης του νευρωνικού δικτύου με τη φάση της εφαρμογής όλων των τεχνικών(που έμαθε κατά το training) στην πράξη.

Σε τελικό στάδιο η μόνη high-res εικόνα στην οποία βασίζεται το DLSS 2.0 είναι αυτή την οποία έχει ήδη δημιουργήσει το ίδιο(τρέχον native καρέ).

 

 

Θα στο πω με ένα παράδειγμα. Έστω ότι έχεις μια μέτρια κάμερα με πολύ θόρυβο. Ο θόρυβος καταστρέφει μέρος της λεπτομέρειας που έχει ένα καρέ. Σε κάθε καρέ όμως ο θόρυβος είναι διαφορετικός. Κρύβει διαφορετικό κομμάτι της λεπτομέρειας της εικόνας. Με άλλα λόγια είναι ένα σφάλμα με συγκεκριμένα στατιστικά χαρακτηριστικά.

Αν πάρεις πολλά καρέ(δείγματα) μιας σχετικά στατικής εικόνας, μπορείς με κατάλληλη ανάλυση να εξαλείψεις τον θόρυβο(σφάλμα) αποκαλύπτοντας τη λεπτομέρεια που θα είχες χωρίς αυτόν. Αρκεί να μην υπάρχουν σημαντικές αλλαγές μεταξύ των καρέ.

Σε παρόμοια αρχή βασίζεται το DLSS 2.0. Στη γρήγορη κίνηση φυσικά θολώνει περισσότερο, αλλά εκεί θολώνει και η ανθρώπινη όραση.

Το FSR είναι interpolation. Αυθαίρετες υποθέσεις για την χαμένη λεπτομέρεια.

Τι σχέση έχει το noise reduction με όλα αυτά. Λογικό είναι να μπορέσεις να αφαιρέσεις αρκετά θόρυβο σε εύρος κάποιων καρέ. Το θέμα είναι οτι στις άλλες περιπτώσεις ΔΕΝ υπάρχει source of truth.

Όλες οι υλοποιήσεις υπολογίζουν σε κάποιο βαθμό κάποια πράγματα. Δεν υπάρχουν στα καρέ. Προφανώς όταν κάνει training και έχει άπειρο sample για να κάνει το reconstruction θα έχει καλύτερα αποτελέσματα. Kudos, αλλα θέλει training. Σε nvidia hardware. Σε κάθε τίτλο.

Αυτό λέμε. Πολύ καλή η φάση τους στην nvidia, αλλα δεν είναι πρακτικό

Επεξ/σία 10 Αυγούστου 2021 από chncynic

[pirmen56]

2 λεπτά πριν, chncynic είπε

Τι σχέση έχει το noise reduction με όλα αυτά. Λογικό είναι να μπορέσεις να αφαιρέσεις αρκετά θόρυβο σε εύρος κάποιων καρέ. Το θέμα είναι οτι στις άλλες περιπτώσεις ΔΕΝ υπάρχει source of truth.

Όλες οι υλοποιήσεις υπολογίζουν σε κάποιο βαθμό κάποια πράγματα. Δεν υπάρχουν στα καρέ. Προφανώς όταν κάνει training και έχει άπειρο sample για να κάνει το reconstruction θα έχει καλύτερα αποτελέσμα. Kudos, αλλα θέλει training. Σε nvidia hardware. Σε κάθε τίτλο.

Αυτό λέμε. Πολύ καλή η φάση τους στην nvidia, αλλα δεν είναι πρακτικό

Δεν είναι noise reduction ακριβώς αυτό που έδειξα(υπάρχει NR και με ένα καρέ). Είναι φωτό από το άρθρο για το super resolution. Ο θόρυβος είναι ΕΝΑ από τα πολλά σφάλματα μιας συσκευής που οδηγούν σε πτώση της λεπτομέρειας. Τα άλλα αναφέρονται στο άρθρο καθώς και το πώς αντισταθμίζονται για να βγει η χαμένη λεπτομέρεια.

Αυτό που γράφεις για το DLSS μετά είναι άκυρο και αναφέρεται στην πρώτη του έκδοση. Στο DLSS 2.0 training γίνεται μόνο προς ανακάλυψη νέων ή τελειοποίηση υπαρχόντων τεχνικών reconstruction.

Λογικό είναι πάντως με την άγνοια και τη σύγχυση που υπάρχει γύρω από το DLSS να το εκμεταλλεύεται η AMD και να δηλώνει ό,τι γουστάρει.

[chncynic]

6 λεπτά πριν, pirmen56 είπε

Δεν είναι noise reduction ακριβώς αυτό που έδειξα(υπάρχει NR και με ένα καρέ). Είναι φωτό από το άρθρο για το super resolution. Ο θόρυβος είναι ΕΝΑ από τα πολλά σφάλματα μιας συσκευής που οδηγούν σε πτώση της λεπτομέρειας. Τα άλλα αναφέρονται στο άρθρο καθώς και το πώς αντισταθμίζονται για να βγει η χαμένη λεπτομέρεια.

Αυτό που γράφεις για το DLSS μετά είναι άκυρο και αναφέρεται στην πρώτη του έκδοση. Στο DLSS 2.0 training γίνεται μόνο προς ανακάλυψη νέων ή τελειοποίηση υπαρχόντων τεχνικών reconstruction.

Λογικό είναι πάντως με την άγνοια και τη σύγχυση που υπάρχει γύρω από το DLSS να το εκμεταλλεύεται η AMD και να δηλώνει ό,τι γουστάρει.

Τώρα διάβασα οτι για κάθε game πρέπει να γράψουν οι devs motion vectors specifically για να τα πασάρουν στο DLSS2 ωστε να κάνει το reconstruction. 😕

Ξαναλέω, πράγματα που δεν παίζει να γίνουν industry standards εκτός κι αν τρέχουν παντού. Ένας game dev που βγάζει το παιχνίδι σε xbox/pc/ps/switch, σιγά μην κάτσει να γράψει παπαρίτσες για να τρέχουν καλά στο πολύ βαριά 5% του userbase.