Και το πρώτο demo του Bing AI είχε πολλές ανακρίβειες

Ο ανεξάρτητος ερευνητής AI, Dmitri Brereton, ανακάλυψε ότι και τα πρώτα demo του Bing AI της Microsoft είχαν πολλά λάθη σε οικονομικά δεδομένα και όχι μόνο.

Η Microsoft παρουσίασε με αυτοπεποίθηση τις δυνατότητες του Bing AI πριν από μια εβδομάδα, με τη μηχανή αναζήτησης να αναλαμβάνει καθήκοντα όπως η αναφορά των υπέρ και κατά για τις κορυφαίες σκούπες κατοικίδιων ζώων της αγοράς, ο σχεδιασμός ενός 5ήμερου ταξιδιού στην Πόλη του Μεξικό αλλά και τη σύγκριση δεδομένων σε οικονομικές εκθέσεις. Όμως, το Bing απέτυχε να καταλάβει τις διαφορές μεταξύ μιας ενσύρματης με μια ασύρματη ηλεκτρική σκούπα, δεν ανέφερε λεπτομέρειες για τα μπαρ στην Πόλη του Μεξικού και παραποίησε τα οικονομικά δεδομένα το οποό ήταν μακράν το μεγαλύτερο του λάθος.

Σε ένα από τα demo, το Bing AI της Microsoft προσπαθεί να συνοψίσει μια οικονομική έκθεση του τρίτου τριμήνου του 2022 για τα ρούχα της Gap και κάνει πολλά λάθη. Η έκθεση της Gap (PDF) αναφέρει ότι το μεικτό περιθώριο κέρδους ήταν 37,4%, με προσαρμοσμένο μεικτό περιθώριο κέρδους στο 38,7%, εξαιρουμένης μιας επιβάρυνσης απομείωσης. Το Bing αναφέρει ανακριβώς το ακαθάριστο περιθώριο κέρδους ως 37,4%, συμπεριλαμβανομένων της προσαρμογής και των χρεώσεων απομείωσης.

Στη συνέχεια, το Bing αναφέρει ότι η Gap είχε αναφερόμενο λειτουργικό περιθώριο κέρδους 5,9%, το οποίο δεν εμφανίζεται στα οικονομικά αποτελέσματα. Το λειτουργικό περιθώριο κέρδους ήταν 4,6% ή 3,9% προσαρμοσμένο και συμπεριλαμβανομένης της επιβάρυνσης απομείωσης.

Κατά τη διάρκεια της παρουσίασης της Microsoft, το Bing AI συγκρίνει τα οικονομικά στοιχεία της Gap με τα αποτελέσματα της Lululemon κατά το τρίτο τρίμηνο του 2022. Το Bing κάνει περισσότερα λάθη με τα δεδομένα της Lululemon και το αποτέλεσμα είναι μια σύγκριση γεμάτη ανακρίβειες.

Ο Brereton επισημαίνει επίσης ένα προφανές λάθος με ένα ερώτημα που σχετίζεται με τα πλεονεκτήματα και τα μειονεκτήματα των κορυφαίων σκουπών για κατοικίδια ζώα. Το Bing αναφέρει την "Bissell Pet Hair Eraser Handheld Vacuum" και παραθέτει το μειονέκτημα ότι έχει μικρό μήκος καλωδίου 5 μέτρων. "Δεν έχει καλώδιο", λέει ο Brereton. "Είναι μια φορητή ηλεκτρική σκούπα χειρός". Ωστόσο, μια γρήγορη αναζήτηση στο Google (ή στο Bing!) θα δείξει ότι υπάρχει σαφώς μια έκδοση αυτής της ηλεκτρικής σκούπας με καλώδιο 5 μέτρων τόσο σε γραπτή κριτική όσο και σε βίντεο. Υπάρχει επίσης μια ασύρματη έκδοση, η οποία συνδέεται με το άρθρο του HGTV που αποτελεί πηγή του Bing.

Χωρίς να γνωρίζουμε την ακριβή διεύθυνση URL από την οποία προήλθε η πληροφορία του Bing στο demo της Microsoft, φαίνεται ότι το Bing χρησιμοποιεί εδώ πολλαπλές πηγές δεδομένων χωρίς να παραθέτει πλήρως αυτές τις πηγές, συγχέοντας δύο εκδόσεις μιας ηλεκτρικής σκούπας. Το γεγονός ότι ο ίδιος ο Brereton έκανε ένα μικρό λάθος στον έλεγχο των γεγονότων από το Bing δείχνει τη δυσκολία στην αξιολόγηση της ποιότητας αυτών των απαντήσεων που δημιουργούνται από την τεχνητή νοημοσύνη.

Ωστόσο, τα λάθη της τεχνητής νοημοσύνης του Bing δεν περιορίζονται μόνο στα demo επί σκηνής. Τώρα που χιλιάδες άνθρωποι αποκτούν πρόσβαση στη νέα μηχανή αναζήτησης της Microsoft, η τεχνητή νοημοσύνη του Bing κάνει πιο προφανή λάθη. Σε μια συζήτηση που δημοσιεύτηκε στο Reddit, το Bing AI μπερδεύεται υπερβολικά και υποστηρίζει ότι βρισκόμαστε στο 2022. “Λυπάμαι, αλλά σήμερα δεν έχουμε 2023. Σήμερα είναι το 2022", λέει το Bing AI. Όταν ο χρήστης του λέει ότι είναι το 2023 στο smartphone του, το Bing προτείνει να ελέγξει ότι έχει τις σωστές ρυθμίσεις και να διασφαλίσει ότι η συσκευή δεν έχει "κάποιον ιό ή κάποιο σφάλμα που μπερδεύει την ημερομηνία".

Η Microsoft έχει επίγνωση του συγκεκριμένου λάθους. "Περιμένουμε ότι το σύστημα μπορεί να κάνει λάθη κατά τη διάρκεια αυτής της δοκιμαστικής περιόδου. Τα σχόλια των χρηστών είναι κρίσιμα γιατί μας βοηθάνε να εντοπίσουμε τα σημεία όπου τα πράγματα δεν λειτουργούν καλά, ώστε να μπορέσουμε να μάθουμε και να βοηθήσουμε τα μοντέλα να γίνουν καλύτερα", αναφέρει η Caitlin Roulston, διευθύντρια επικοινωνίας της Microsoft, σε δήλωσή της στο The Verge.

Άλλοι χρήστες του Reddit έχουν διαπιστώσει παρόμοια λάθη. Το Bing AI δηλώνει με αυτοπεποίθηση και λανθασμένα "Η Κροατία αποχώρησε από την ΕΕ το 2022", δηλώνοντας το ίδιο ως την πηγή για την πληροφορία. Το PCWorld διαπίστωσε επίσης ότι το νέο Bing AI της Microsoft διδάσκει στους ανθρώπους εθνοτικές προσβολές. Η Microsoft διόρθωσε τώρα το ερώτημα που οδήγησε στην εμφάνιση ρατσιστικών προσβολών στα αποτελέσματα αναζήτησης συνομιλίας του Bing.

«Έχουμε θέσει προστατευτικά επίπεδα για να αποτρέψουμε την προώθηση επιβλαβούς ή μεροληπτικού περιεχομένου σύμφωνα με τις αρχές μας για την τεχνητή νοημοσύνη», εξηγεί ο Roulston. «Αυτή τη στιγμή εξετάζουμε πρόσθετες βελτιώσεις που μπορούμε να κάνουμε καθώς συνεχίζουμε να μαθαίνουμε από τα πρώτα στάδια του λανσαρίσματος. Δεσμευόμαστε να βελτιώσουμε την ποιότητα της εμπειρίας με την πάροδο του χρόνου και να την καταστήσουμε ένα χρήσιμο και χωρίς αποκλεισμούς εργαλείο για όλους».

Άλλοι χρήστες του Bing AI έχουν επίσης διαπιστώσει ότι το chatbot αναφέρεται συχνά στον εαυτό του ως Sydney, ιδίως όταν οι χρήστες χρησιμοποιούν prompt injections για να προσπαθήσουν να βγάλουν στην επιφάνεια εσωτερικούς κανόνες του chatbot. "Το Sydney αναφέρεται σε μια εσωτερική κωδική ονομασία για μια εμπειρία συνομιλίας που εξερευνούσαμε στο παρελθόν", λέει ο Roulston. «Αποσύρουμε σταδιακά το όνομα στην προεπισκόπηση, αλλά μπορεί να εξακολουθεί να εμφανίζεται περιστασιακά».

Η Microsoft έχει σαφώς πολύ δρόμο να διανύσει μέχρι η νέα τεχνητή νοημοσύνη του Bing να μπορεί να απαντά με αυτοπεποίθηση και ακρίβεια σε όλα τα ερωτήματα με πραγματικά δεδομένα. Έχουμε δει παρόμοια λάθη από το ChatGPT στο παρελθόν, αλλά η Microsoft έχει ενσωματώσει αυτή τη λειτουργία απευθείας στη μηχανή αναζήτησης ως ένα πραγματικό προϊόν που βασίζεται επίσης σε ζωντανά δεδομένα. Η Microsoft θα πρέπει να κάνει πολλές προσαρμογές για να διασφαλίσει ότι το Bing AI θα σταματήσει να κάνει με αυτοπεποίθηση λάθη χρησιμοποιώντας αυτά τα δεδομένα.
 

• microsoft
• bing
• ChatGPT