Σχεδόν όλοι οι κατασκευαστές Android συσκευών, «ξεγελούν» τα benchmarks

[Hal9000]

Πριν λίγες ημέρες, περισσότερες πληροφορίες έγιναν γνωστές για την προσπάθεια της Samsung να ξεγελάσει τις εφαρμογές μέτρησης επιδόσεων όσον αφορά δοκιμές που έγιναν στο Galaxy Note 3 και παλαιότερα στο Galaxy S4. Σύμφωνα με νέα έρευνα όμως της ιστοσελίδας Anandtech, το φαινόμενο αυτό είναι πολύ πιο ευρέως διαδεδομένο και αφορά πάρα πολλούς κατασκευαστές.Όπως αναφέρει το Anandtech, από τον Ιούλιο όταν και ξεκίνησε μια σειρά δοκιμών σε διαφορετικά android smartphones και tablets, έφτασε σε ενδιαφέροντα συμπεράσματα τα οποία αντικατοπτρίζονται στον παρακάτω πίνακα με τον πολύ εύστοχο τίτλο.

 

Στις συσκευές που δοκίμασε το Anandtech δεν περιλαμβάνονται αυτές της Sony η οποία δε στέλνει συσκευές δοκιμής στην ιστοσελίδα ενώ δε παρατηρήθηκε η ίδια πρακτική με την Nvidia και το Tegra 4 soc στη φορητή παιχνιδοκονσόλα Shield αλλά ούτε με την Apple και τη Motorola στα τελευταία τους μοντέλα.

 

Με βάση τα στοιχεία του Anandtech, οι κατασκευαστές προγραμματίζουν έτσι τις συσκευές τους έτσι ώστε όταν αυτές αντιληφθούν ότι ο χρήστης εκτελεί κάποια εφαρμογή μέτρησης επιδόσεων, τότε να δουλεύουν με την πλήρη ταχύτητα του επεξεργαστή και όχι με τον κανονικό χρονισμό που δουλεύουν με όλες τις υπόλοιπες εφαρμογές. Στο παρακάτω σχεδιάγραμμα φαίνεται η συχνότητα του επεξεργαστή όταν η συσκευή εντοπίσει την εκτέλεση κάποιου benchmark αλλά και την ταχύτητα του επεξεργαστή όταν απλά γίνεται μετονομασία στην ίδια εφαρμογή, με το χρονισμό να πέφτει στα κανονικά επίπεδα.

 

Δεν παρατηρήθηκε κάποια αλλαγή στην ταχύτητα της GPU ενώ το συνολικό όφελος στις επιδόσεις με τον τρόπο αυτό είναι μικρό και κυμαίνεται συνήθως από 3 έως 10%. Το Anandtech όπως αναφέρει είχε ήδη ενημερώσει σχετικά τους κατασκευαστές χωρίς όμως να υπάρχει αλλαγή στάσης εκ μέρους τους.

 

Site: Anandtech

[georger_volos]

Η δουλειά ενός benchmark είναι να "ζορίσει" τον επεξεργαστή ώστε να δεί μέχρι που φτάνει σωστά; Ταυτόχρονα οι επεξεργαστές έχουν τεχνολογίες που "χαμηλώνουν" τις επιδόσεις για καλύτερη διαχείρηση ενέργειας. Οπότε αν η κάθε εταιρεία βάλει μια λειτουργία ώστε στα benchmarks να μην χαμηλώνουν οι επιδόσεις και η cpu να είναι turbo δεν βλέπω το κακό.

Είναι άπλα τροφή αυτά τα thread για τρελό τρολ και μάχη μεταξύ των "μετόχων" της samsung(anroid γενικά) και "μετόχων" apple ..με κλασική ατάκα εσείς με το anroid κοιτάτε τα benchmarks..

[Ntinaras]

μπραβο.τωρα δε θα κοιταει κανεις τα benchmark και θα παιρνουμε κινητα βασει εμφανισης

[tasos1995]

Η Nokia έχει στείλει ?

[Arisyo13]

Η δουλειά ενός benchmark είναι να "ζορίσει" τον επεξεργαστή ώστε να δεί μέχρι που φτάνει σωστά; Ταυτόχρονα οι επεξεργαστές έχουν τεχνολογίες που "χαμηλώνουν" τις επιδόσεις για καλύτερη διαχείρηση ενέργειας. Οπότε αν η κάθε εταιρεία βάλει μια λειτουργία ώστε στα benchmarks να μην χαμηλώνουν οι επιδόσεις και η cpu να είναι turbo δεν βλέπω το κακό.

Είναι άπλα τροφή αυτά τα thread για τρελό τρολ και μάχη μεταξύ των "μετόχων" της samsung(anroid γενικά) και "μετόχων" apple ..με κλασική ατάκα εσείς με το anroid κοιτάτε τα benchmarks..

Εν μέρη εχεις δίκιο αλλά τα benchmarks ειναι για να μετρησουν την μέγιστη απόδοση κατά την χρήση τους.

 

Σαν να μου λες ότι εχεις ενα τεστ απο μηχανάκια που δείχνει ποιο ειναι πιο γρήγορο και στο ένα να έχεις βγάλει τους κόφτες και να λες αυτό είναι πιο γρήγορο όλων

[The Ace]

Παιδιά, τα εξήγησα αναλυτικά στο προηγούμενο σχετικό θέμα, όπως βλέπετε απλώς επιβεβαιώνονται τα όσα περιέγραψα. Η κάθε εταιρεία κάνει τις επιλογές της, τις συνθέσεις της, τεςπα την πολιτική της, και προσπαθεί τελικά να πουλήσει (για να επιζήσει/μεγαλώσει). Το benchmark μετράει την επίδοση της συσκευής, και αυτό πρέπει να σημαίνει 100% ή πολύ κοντά σε αυτό. Το αν κάποια -ή κάποιες- εταιρείες έχουν βάλει triggers για να εγγυώνται ότι η συσκευή τους θα το πράξει, δεν είναι απάτη. Είναι τρυκ, είναι βελτιστοποίηση, είναι καινοτόμο, είναι έξυπνο, πείτε το όπως θέλετε.

 

Επί του συγκεκριμένου θέματος, η συζήτηση είναι φιλολογική, καθώς δεν υπάρχει μεμπτόν (ούτε από τη Samsung, ούτε από τις άλλες εταιρείες).

 

Ξαναλέω ότι το παραπάνω ισχύει ΑΝ η απόδοση αυτή είναι εφικτή και σε καταστάσεις «real world», όπως επίσης και ΑΝ δεν υπάρχουν κρυμένα κομμάτια κώδικα που πραγματικά «κλέβουν»…

[Κολοκυθοσπορος]

Αλλο ειναι το θεμα...ΚΑΙ? Αν ο αλλος ειναι τοσο χαπατο ωστε η ερευνα αγορας που θα κανει να βασιζεται στα benchmarks τοτε παο πασο αν ομως δεν σε ενδιαφερει το 0.1 ms που ανοιγει μια σελιδα γρηγοροτερα τοτε απλα ψαχνεις αυτο που θα σε βολεψει

[MauMaus]

και μεις καθομαστε και ασχολουμαστε με ΝΟΥΜΕΡΑ !!!!!!!!!

[kirileman]

Παιδιά, τα εξήγησα αναλυτικά στο προηγούμενο σχετικό θέμα, όπως βλέπετε απλώς επιβεβαιώνονται τα όσα περιέγραψα. Η κάθε εταιρεία κάνει τις επιλογές της, τις συνθέσεις της, τεςπα την πολιτική της, και προσπαθεί τελικά να πουλήσει (για να επιζήσει/μεγαλώσει). Το benchmark μετράει την επίδοση της συσκευής, και αυτό πρέπει να σημαίνει 100% ή πολύ κοντά σε αυτό. Το αν κάποια -ή κάποιες- εταιρείες έχουν βάλει triggers για να εγγυώνται ότι η συσκευή τους θα το πράξει, δεν είναι απάτη. Είναι τρυκ, είναι βελτιστοποίηση, είναι καινοτόμο, είναι έξυπνο, πείτε το όπως θέλετε.

 

Επί του συγκεκριμένου θέματος, η συζήτηση είναι φιλολογική, καθώς δεν υπάρχει μεμπτόν (ούτε από τη Samsung, ούτε από τις άλλες εταιρείες).

 

Ξαναλέω ότι το παραπάνω ισχύει ΑΝ η απόδοση αυτή είναι εφικτή και σε καταστάσεις «real world», όπως επίσης και ΑΝ δεν υπάρχουν κρυμένα κομμάτια κώδικα που πραγματικά «κλέβουν»…

Εξήγησε αυτό:

 

On the Exynos 5410, Samsung was detecting the presence of certain benchmarks and raising thermal limits (and thus max GPU frequency) in order to gain an edge on those benchmarks,

Επεξ/σία 3 Οκτωβρίου 2013 από kirileman

[ta6ape]

Το ίδιο συμβαίνει και με τα αμάξια! Οι κατασκευαστές γράφουν κάποια στοιχεία όπως κατανάλωση, ίπποι, κτλ και το αμάξι που αγοράζουμε διαφέρει στα στοιχεία ελαφρώς καθώς τα τεστ γίνονται υπό ιδανικές συνθήκες και δεν ανταποκρίνονται στην καθημερινή χρήση! Έτσι είναι και με τα κινητά. Κάθε επεξεργαστής όπως βγαίνει απο το εργοστάσιο σε κομμάτι με εκατοντάδες επεξεργαστές, έχουν ελάχιστη διάφορα επιδόσεων μεταξύ τους. Όπως γίνεται και με επεξεργαστές απο PC.

 

Sent from my iPhone using Insomnia

[kisto]

Πιστευω πως τα benchmarks ειναι για ψυχολογικούς λόγους δημιουργουν στον καταναλωτη την επιβεβαίωση οτι αυτο που πήρε και τα εχωσε αναλόγος... εχει και της ανάλογες προδιαγραφές! ωστόσο ρόλο παίζει το σύνολο ενος συστήματος τόσο σε hardware όσο και software και driver! για παραδειγμα ενας διπυρηνος επεξεργαστής δεν λειτουργεί το ίδιο γρήγορα (σε καθημερινή χρήση) σε windows xp - Vista- 7 η Mac os Tο μυστικό ειναι στην διαχείριση κ κατανάλωση των πόρων που κανει το software για να σου παρεχει ενα αποτέλεσμα!

[The Ace]

 

Εξήγησε αυτό:

 

On the Exynos 5410, Samsung was detecting the presence of certain benchmarks and raising thermal limits (and thus max GPU frequency) in order to gain an edge on those benchmarks

 

To έγραψα ήδη: "...το παραπάνω ισχύει ΑΝ η απόδοση αυτή είναι εφικτή και σε καταστάσεις «real world»...". Κοινώς αν αυτό το επίπεδο απόδοσης μπορεί να το πιάσει η συσκευή και σε οποιαδήποτε άλλη "πραγματική" κατάσταση, είναι valid. Αν όμως αλλάζουν -αυξάνονται- τα όρια ανοχής (χρονισμού, θερμοκρασίας, fault tolerance κ.α.) μόνο για το χρονικό διάστημα του benchmarking, αυτό είναι προφανώς απόδοση που δεν υφίσταται στον "πραγματικό κόσμο" της συσκευής, και άρα είναι απάτη.

 

Αν ισχύει αυτό τότε είναι NVidia all over again...

[firewalker]

Είναι σαν τις διαφημίσεις κατασκευαστών που κατά την χρήση στην διαφήμιση ξεχνάνε να προσθέσουν το "Επιτάχυνση για διαφημιστικούς λόγους".

[Gtr34]

Η ουσια ειναι μια , οτι και να βγαλει το benchmark , στο τελος παντα θα καταληγεις να χρησιμοποιεις τις ιδιες εφαρμογες , καμια προοδο επι τουτου

[Crystallization]

Hal9000

 

Δεν περίμενα να ανεβάσεις ένα τόσο αισχρό marketing trick!Είσαι τόσο καιρό στον τεχνολογικό κόσμο και δεν έκρινες άθλιο το εν λόγω post και καθόλου άξιο προσοχής;
 

Τα συγχαρητήρια μου στην Samsung που κάνει η συσκευή της αυτό που υποτίθεται πως πρέπει να κάνει όταν τρέχει μια benchmark εφαρμογή!