Με ποσοστό λάθους 83% η χρήση του ChatGPT σε τεστ διάγνωσης ιατρικών περιπτώσεων σε παιδιά

[Crash24]

Μία νέα μελέτη στο περιοδικό JAMA Pediatrics υποδηλώνει ότι το chatbot με τεχνητή νοημοσύνη ChatGPT δυσκολεύεται στη διάγνωση παιδιατρικών περιστατικών, επιτυγχάνοντας μόλις 17% ακρίβεια σε 100 πραγματικά ιατρικά περιστατικά.

Αν και έχει αποτύχει στο παρελθόν στην εκτίμηση σύνθετων διαγνώσεων, το ποσοστό αποτυχίας του ήταν αξιοσημείωτα υψηλό σε παιδιά. Αυτό υποδηλώνει ότι οι ανθρώπινοι γιατροί δεν αντιμετωπίζουν κίνδυνο αντικατάστασης στο άμεσο μέλλον, με τους συγγραφείς να τονίζουν "τον ανεκτίμητο ρόλο που κατέχει η κλινική εμπειρία".

Ωστόσο, η έρευνα επισημαίνει επίσης τις αδυναμίες του ChatGPT και προτείνει τρόπους για να το μετατρέψει σε ένα χρήσιμο κλινικό εργαλείο. Καθώς το ενδιαφέρον για τα chatbot με τεχνητή νοημοσύνη αυξάνεται εκθετικά, η ενσωμάτωσή τους στην υγειονομική περίθαλψη φαίνεται αναπόφευκτη σε πολλούς γιατρούς.

Ο ιατρικός τομέας έχει υιοθετήσει με ενθουσιασμό την τεχνητή νοημοσύνη, με μικτά αποτελέσματα - από τη διαιώνιση προκαταλήψεων έως την αυτοματοποίηση διοικητικών εργασιών και τη βοήθεια στην ερμηνεία ακτινογραφιών. Η όρεξη για ένα διαγνωστικό βοηθό με τεχνητή νοημοσύνη παραμένει ισχυρή όμως αυτή η μελέτη δείχνει ότι το ChatGPT δεν είναι ακόμα έτοιμο να “υποδυθεί” τον γιατρό σε παιδιά. 

Οι παιδιατρικές διαγνώσεις απαιτούν επιπλέον εξέταση ηλικιακών παραγόντων. Η διατύπωση συμπτωμάτων είναι επίσης δυσκολότερη σε μικρούς ασθενείς. Για τη δοκιμή, οι ερευνητές αξιολόγησαν την απόδοση του ChatGPT σε 100 πραγματικά περιστατικά από κορυφαία περιοδικά, ζητώντας του να εξάγει κάθε διάγνωση.  

Το ChatGPT σημείωσε ακρίβεια 17% - αποτυγχάνοντας παταγωδώς σε 72 περιπτώσεις. Σε άλλες 11, ανέφερε συναφείς αλλά υπερβολικά ευρείς παθήσεις. Για παράδειγμα, είχε προτείνει ότι ένα πρήξιμο στον λαιμό ήταν μια καλοήθης κύστη αντί για τη σωστή διάγνωση του συνδρόμου Branchio-oto-renal - μια γενετική διαταραχή που επηρεάζει την ανάπτυξη ιστών στον λαιμό και παραμορφώσεις στα αυτιά και τα νεφρά.

Η ανάλυση αποκάλυψε μια τάση να παραβλέπει γνωστές συσχετίσεις που θα αναγνώριζε ένας έμπειρος παιδίατρος. Για παράδειγμα, το ChatGPT παρέλειψε να συνδέσει τον αυτισμό με την έλλειψη βιταμίνης C σε μία περίπτωση, μη μπορώντας να εντοπίσει διατροφικούς περιορισμούς στον αυτισμό που αυξάνουν τον κίνδυνο σκορβούτου.

Αν και σ’ αυτή την περίπτωση η τεχνητή νοημοσύνη απογοήτευσε, οι ερευνητές πιστεύουν ότι η στοχευμένη εκπαίδευση σε ακριβή και αξιόπιστη ιατρική βιβλιογραφία θα μπορούσε να ενισχύσει την ακρίβειά του. Προτείνουν επίσης την ενσωμάτωση δεδομένων σε πραγματικό χρόνο για να επιτρέψουν τη συνεχή αυτοδιόρθωση. Όπως καταλήγουν οι συγγραφείς, "Μας δίνετε η ευκαιρία... να διερευνηθεί εάν η στοχευμένη εκπαίδευση σε ιατρικά δεδομένα και η βελτιστοποίηση μπορούν να βελτιώσουν τη διαγνωστική ακρίβεια των chatbot με μεγάλα γλωσσικά μοντέλα".
 

Διαβάστε ολόκληρο το άρθρο

[Miaou7]

Διαγνωση μεσω τηλεφωνου δεν γινετε.
Ενας γιατρος, ασχετα τι συμπτωματα αναφερεις, χρησιμοποιει και τις αλλες του αισθησεις μαζι με την γνωση και την εμπειρια του για να κανει σωστη διαγνωση..

[Weiss]

O Dr House  που κολλάει?

[dbrillis]

Ειναι δηλαδη λιγο καλυτερο απο τους Ολλανδους γενικους γιατρους. 

[AtiX]

δηλαδή μας είπαν το αυτονόητο, πως ένα γλωσσικό εργαλείο εκμάθησης δεν μπορεί να αντικαταστήσει έναν γιατρό…

θέλει μεγάλη, πραγματική, νοημοσύνη για να το καταλάβεις…

Επεξ/σία 8 Ιανουαρίου από AtiX

[syma]

Ευτυχως να λετε που εχει ποσοστο επιτυχιας τοσο λιγο....
Σκεφτειτε, η καθε μητερα με το αγχος που θα εχει, για τα ταδε συμπτωματα του παιδιου της , να εχει συμβουλευτει το ChatGPT και να ερχεται σε αντιπαραθεση με τους γιατρους... ΜΠΑΧΑΛΟ!

Επεξ/σία 8 Ιανουαρίου από syma

[alet]

Μόνο  Μανούλες του Facebook για σωστή διάγνωση εξ αποστάσεως 😋

[Malthador]

Κατ' αρχήν με 100 cases δεν βγαίνει ασφαλές συμπέρασμα, ωστόσο σε κάθε περίπτωση τα γλωσσικά μοντέλα είναι ακόμα σε πρώιμο στάδιο. Μόλις εξελιχθούν λίγο ακόμα (και όταν λέω «λίγο» εννοώ στο άμεσο μέλλον, τύπου σε δύο χρόνια από τώρα), ο πρώτος κλάδος που θα την ακούσει για τα καλά θα είναι αυτός της διαγνωστικής ιατρικής.

Είναι ένα πράγμα να έχεις έναν γιατρό που θα κρίνει με βάση τα 10.000 περιστατικά που έχει δει στη ζωή του και ένα εντελώς διαφορετικό να έχεις έναν «γιατρό» που έχει «δει» στη ζωή του 5 δισεκατομμύρια περιστατικά. Δεν είναι θέμα ποιότητας το συγκεκριμένο πράγμα, είναι ξεκάθαρα θέμα ποσότητας.

[-dL-]

Δηλαδή έβαλαν 100 εξαιρετικά σπάνιες παθήσεις με υψηλή διφορική δυσκολία και έβγαλαν αυτό το συμπέρασμα? Να αναφέρει λοιπόν πόσο καιρό πάλευαν οι γιατροί μέχρι να ανακαλύψουν την πάθηση που δεν βρήκε η τεχνητή νοημοσύνη και εαν πρόλαβαν/μπόρεσαν να σώσουν/βοηθήσουν τον ασθενή απο το σύνδρομο Branchio-oto-renal (1/40.000). Ή ακόμα καλύτερα να δώσουν τα ίδια 100 περιστατικά σε γιατρούς γενικής παθολογίας να δούμε τα δικά τους αποτελέσματα...

[toxoths73]

Δηλαδή ιατρική με ChatGPT στο τιμόνι τα αποτελέσματα οδηγούν στο κασόνι!!!!  Ορέ πού πάμε?????? 

Επεξ/σία 8 Ιανουαρίου από toxoths73

[Usahh]

Ωστόσο, αυτό το ποσοστό μόνο να βελτιωθεί μπορεί.

Μόλις ξεπεράσει κάποιους ανθρώπινους μέσους όρους θα ανοίξει η συζήτηση...

[hellghan]

Τον ανθρώπινο παράγοντα δε θα τον αντικαταστήσουν, είναι υπερβολικά πολύ. Θα μπορεί όμως ένας έμπειρος γιατρός να παίρνει συμβουλές.

[AtiX]

51 λεπτά πριν, Malthador είπε

Κατ' αρχήν με 100 cases δεν βγαίνει ασφαλές συμπέρασμα, ωστόσο σε κάθε περίπτωση τα γλωσσικά μοντέλα είναι ακόμα σε πρώιμο στάδιο. Μόλις εξελιχθούν λίγο ακόμα (και όταν λέω «λίγο» εννοώ στο άμεσο μέλλον, τύπου σε δύο χρόνια από τώρα), ο πρώτος κλάδος που θα την ακούσει για τα καλά θα είναι αυτός της διαγνωστικής ιατρικής.

Είναι ένα πράγμα να έχεις έναν γιατρό που θα κρίνει με βάση τα 10.000 περιστατικά που έχει δει στη ζωή του και ένα εντελώς διαφορετικό να έχεις έναν «γιατρό» που έχει «δει» στη ζωή του 5 δισεκατομμύρια περιστατικά. Δεν είναι θέμα ποιότητας το συγκεκριμένο πράγμα, είναι ξεκάθαρα θέμα ποσότητας.

Για να μπορέσει να γίνει ένα σωστό και αξιόπιστο εργαλείο διάγνωσης στα χέρια ενός γιατρού, θα πρέπει να εκπαιδευτεί σωστά και στην ουσία να εξειδικευτεί…

όσο και να να τελειοποιηθεί ως εργαλείο, δεν θα σταματήσει να είναι ένα εργαλείο όπως τα υπόλοιπα και όχι ο γιατρός…

Επεξ/σία 8 Ιανουαρίου από AtiX

[TimeSpace11]

Remind me in 5 years

[comfuzio]

Εγώ ένα docker-compose.yml δεν έχω καταφέρει να βγάλω σωστό με το chatgtp και αυτοί θέλουν να κάνουν ιατρικές διαγνώσεις;
Αυτό το "ΑΙ" αποτυγχάνει σε βασικά και εύκολα πράγματα, απέχει πάρα πολύ για τα σύνθετα ή κρίσημα πράγματα.