Με ποσοστό λάθους 83% η χρήση του ChatGPT σε τεστ διάγνωσης ιατρικών περιπτώσεων σε παιδιά

[svartevarg]

3 ώρες πριν, Miaou7 είπε

Διαγνωση μεσω τηλεφωνου δεν γινετε.
Ενας γιατρος, ασχετα τι συμπτωματα αναφερεις, χρησιμοποιει και τις αλλες του αισθησεις μαζι με την γνωση και την εμπειρια του για να κανει σωστη διαγνωση..

Σωστά. Δεν ξέρω βέβαια αν η ai  είναι πιο αποτελεσματική σε προτάσεις θεραπείας πχ γονιδιακών ασθενειών εφόσον κάποιος βιοεπιστήμονας σε εργαστήριο έχει ήδη προσδιορίσει το γονίδιο.

[dreaming123]

Ότι και να κάνουν την ομάδα στο Facebook 

Ελληνίδες Μαμάδες με ποσοστό επιτυχίας 99.9% δεν θα το φτάσουν σε  όχι οι κανονικοί ιατροί αλλά ούτε και ο Dr Ηouse που είναι στη φωτογραφία.

[spykapo21]

Ερώτημα: τι δίνω στο παιδί μου με υψηλό πυρετό με εντονη κεφαλαλγία;

Απάντηση: Vicodin

Επεξ/σία 8 Ιανουαρίου από spykapo21

[panther_512]

4 hours ago, Miaou7 said:

Διαγνωση μεσω τηλεφωνου δεν γινετε.
 

Μάλλον δεν μένεις Κύπρο φαίνεται.

Κύπρο, με το Γενικό Σύστημα Υγείας, το οποίο στελεχώνεται από πάμπολλους εξ Ελλάδος ιατρούς (οι περισσότεροι είναι εξαιρετικοί), έχει φτάσει σε απίστευτα επίπεδα διάγνωσης και εξυπηρέτησης με τον Προσωπικό Ιατρό.

Χωρίς καμία απολύτως υπερβολή, παίρνεις τηλέφωνο τη γραμματέα του ιατρού ή ακόμα καλύτερα στέλνεις SMS απευθείας στον προσωπικό ιατρό σου, αναφέρεις συμπτώματα και τί νομίζεις ότι έχεις, και ο ιατρός:

- Καταγράφει στο σύστημα επίσκεψη

- Κάνει διάγνωση την οποία καταγράφει

- Γράφει συνταγή

- Γράφει εξετάσεις/αναλύσεις που τυχόν θέλει να κάνεις (και μετά θα συνεχίσει το follow up μέσω τηλεφώνου)

- Γράφει παραπεμπτικά στους Ειδικούς ιατρούς (εκείνους θα τους δείς από κοντά, δεν την γλιτώνεις, εκτός και αν κάνουν κολονοσκόπηση ή δαχτυλοσκόπηση από το τηλέφωνο)

- Εκδίδει Άδεια Ασθενείας

Στην περίπτωση όπου τηλεφωνικώς δεν έβγαλε άκρη για το τί έχεις, και δεν λύνεται το θέμα με παραπεμπτικό σε ειδικό ιατρό (όχι παθολόγο), τότε και μόνο τότε σου κλείνουν ραντεβού να πάς να σε δεί από κοντά.

Είναι τρομερή ευκολία η όλη φάση.

Επεξ/σία 8 Ιανουαρίου από panther_512

[elpenor]

Εγώ θέλω να δω στατιστικά για τα Ελληνικά νοσοκομεία και κέντρα υγείας στα ίδια test που έβαλαν το chatgpt. Προσωπικά πριν επισκεφτώ ένα γιατρό θα κάνω επί ώρες ερωτήσεις στο chatgpt και θα ψάχνω μελέτες με βάση αυτά που μου λέει γιατί ξέρω ότι αν πάω απροετοίμαστος υπάρχει πιθανότητα 83% να μην πάει καλά το πράγμα.

Πέρα από αυτό φυσικά και κάνει όλο λάθη, όλη την ώρα "θαυμάζει την επιμονή στη λεπτομέρεια" και απολογείται για τα λάθη.

Επεξ/σία 8 Ιανουαρίου από elpenor

[TasMan]

Μιλώντας σαν ιατρός έχω να πω τα εξής: Καταρχήν η γνώση από μόνη της όπως και η εμπειρία από μόνη της έχουν μικρή αξία. Ο συνδυασμός τους είναι το παν. Το λέω γιατί το οποιοδήποτε πρόγραμμα μπορεί να κρίνει αυστηρά μέσω γνώσεων γι'αυτό είναι αδύνατο να έχει υψηλά ποσοστά επιτυχίας. Κοινώς αν δεν εξετάσεις τον ασθενή, να τον δεις, να του κάνεις φυσική εξέταση και να βάλεις και ακουστικακι, δε γίνεται τίποτα. Ο κάθε ιατρός γνωρίζει ότι αυτά που του λέει ο ασθενής από μόνα τους πρέπει να περαστούν από 100 φίλτρα γιατί πάμπολες φορές υπερ- ή υπο- εκτιμούν κάποια συμπτώματα. Η ΑΙ έχει πολύ μεγάλη αξία σε ειδικές περιπτώσεις πχ εντοπισμένες απεικονιστικές (πχ μαστογραφία, εντοπισμένες μαγνητικές και αξονικές), σύνθεση μορίων (πχ για φάρμακα) κτλ.

[Adrastus]

Προφανώς αστείο να στηρίζει κανείς αποφάσεις υγείας σε LLMs σε εμβρυϊκά στάδια απ'τη μία, και φυσικά πρέπει να εμπιστευόμαστε τους ιατρούς μας, ωστόσο και οι ίδιοι βγάζουν αποφάσεις με βάση κάποιες Χ γνώσεις και την εμπειρία τους, δεν είναι θεοί. Ειδικά όταν πρόκειται για σπάνιες νόσους εκεί χάνεται η μπάλα.

Ας πούμε πως για ένα νευρολογικό θέμα που έχω εγώ χρειάστηκε να πάω σε 4(!) διαφορετικούς νευρολόγους μέχρι ο τελευταίος να κάνει πιά τη σωστή διάγνωση (άρα και θεραπεία) ενώ σε συγγενικό πρόσωπο χρειάστηκαν 2+ μήνες, διαφορετικοί γιατροί (Από αυτούς με τις 4 σελίδες βιογραφικά) και νοσοκομεία μέχρι να γίνει η σωστή διάγνωση που και πλέον όμως ήταν αργά για τον άνθρωπο. (Για τι ποσοστό λάθους μιλάμε εδώ?)

Άρα μια χαρά θέση θα έχουν τέτοια εργαλεία στο όχι και τόσο μακρινό μέλλον...

Επεξ/σία 8 Ιανουαρίου από Adrastus

[cpc464]

Θα διαβάσει το άρθρο ο υπουργός υγείας και θα μας αναλάβει το chatgpt.

[Kostasspil]

Και γιατι δεν ανοιγαν θεμα στο Μπλα Μπλα;

[pirmen56]

6 ώρες πριν, Malthador είπε

Κατ' αρχήν με 100 cases δεν βγαίνει ασφαλές συμπέρασμα, ωστόσο σε κάθε περίπτωση τα γλωσσικά μοντέλα είναι ακόμα σε πρώιμο στάδιο. Μόλις εξελιχθούν λίγο ακόμα (και όταν λέω «λίγο» εννοώ στο άμεσο μέλλον, τύπου σε δύο χρόνια από τώρα), ο πρώτος κλάδος που θα την ακούσει για τα καλά θα είναι αυτός της διαγνωστικής ιατρικής.

Είναι ένα πράγμα να έχεις έναν γιατρό που θα κρίνει με βάση τα 10.000 περιστατικά που έχει δει στη ζωή του και ένα εντελώς διαφορετικό να έχεις έναν «γιατρό» που έχει «δει» στη ζωή του 5 δισεκατομμύρια περιστατικά. Δεν είναι θέμα ποιότητας το συγκεκριμένο πράγμα, είναι ξεκάθαρα θέμα ποσότητας.

Ένα φίδι που αναρριχάται και φτάνει στην κορυφή ενός δέντρου δεν είναι ζήτημα χρόνου να φτάσει στο διάστημα. Για το διάστημα χρειάζονται άλλα μέσα που το φίδι δεν διαθέτει στο ελάχιστο.

Οι γιατροί έχουν τροφοδοτηθεί με ασύλληπτο αριθμό ερεθισμάτων από τον έξω κόσμο, πριν καν γεννηθούν. [Δεν θυμάμαι πόσες φορές έχω διαβάσει το πανηλίθιο επιχείρημα ότι ο άνθρωπος αναγνωρίζει π.χ. μια καρέκλα με 1-2 παραδείγματα ενώ τα ANN θέλουν εκατομμύρια. Αγνοώντας την αδιάκοπη ροή πληροφοριών από τη στιγμή που πρωτοσχηματίζεται ο εγκέφαλος του εμβρύου. Τα οποία βοηθούν τον εγκέφαλο να φτιάξει βασικά μοντέλα που θα του επιτρέψουν αργότερα να αναγνωρίζει νέα αντικείμενα με λίγα παραδείγματα.]Έχουν επίσης περάσει διάφορα στάδια ανάπτυξης του εγκεφάλου τους(άλλα ένστικτα το νήπιο από τον έφηβο), προτού μπουν σε μια ιατρική σχολή.

Αυτά τους δίνουν κοινή λογική. Γενικές γνώσεις και ικανότητες επίλυσης προβλημάτων εντός της υλικής πραγματικότητας, όπως απαγωγή σε άτοπο, μέθοδος της εξάντλησης των πιθανών επιλογών, διαισθητική φυσική και άλλες πολλές που ίσως να μην έχουν ακόμη υποπέσει στην αντίληψή μας. Αυτά απαιτούν αλληλεπίδραση με τον έξω κόσμο και ικανότητα συλληψης νέων εννοιών για την μοντελοποίηση του έξω κόσμου. Όχι ξερούς στατιστικούς συσχετισμούς προεπινοημένων εννοιών(λέξεων) από κάποιο λεξικό και δισεκατομμύρια texts ή ακόμα και tagged εικόνες. Χρειάζεται δράση μέσα στον κόσμο και νέους, άγνωστους προς το παρόν, αλγόριθμους μάθησης.

Τα τωρινά νευρωνικά δίκτυα(μορφή παλινδρόμησης) μπορούν να μιμηθούν οποιαδήποτε εκροή ενός συστήματος(π.χ. την ανθρώπινη συμπεριφορά). Αυτό επιστημονικά δεν ισοδυναμεί με την μίμηση των εσωτερικών διεργασιών του συστήματος(του εγκεφάλου μας) που προκαλούν αυτή τη συμπεριφορά. Δυστυχώς, ακούς κάτι τέτοια ακόμα και από μεταδιδακτορικούς του χώρου. Ίσως και σκόπιμα για να "μασουλάνε" λεφτά.

[nickol-us]

83% ποσοστό λάθους;

Αυτό δεν είναι chatGpt είναι chatGTP(για όποιον θυμάται τα αρχικά )

[pirmen56]

2 ώρες πριν, Adrastus είπε

Προφανώς αστείο να στηρίζει κανείς αποφάσεις υγείας σε LLMs σε εμβρυϊκά στάδια απ'τη μία

Δεν φταίει το εμβρυικό στάδιο των LLMs.

Στο AlphaGo, στο σκάκι κ.α. τα ANN(γενικότερα) κάνουν θαύματα γιατί όλη η απαιτούμενη πληροφορία για να νικήσεις είναι μέσα στο παιχνίδι. Δεν απαιτείται ίχνος κοινής λογικής. Ο γιατρός δεν χρειάζεται καν να διαβάσει βιβλίο για να μάθει ότι δεν θα δώσεις ισχυρό οπιοειδές για ήπια ασθένεια σε παιδί.

[Haldol]

8 hours ago, Malthador said:

Κατ' αρχήν με 100 cases δεν βγαίνει ασφαλές συμπέρασμα, ωστόσο σε κάθε περίπτωση τα γλωσσικά μοντέλα είναι ακόμα σε πρώιμο στάδιο. Μόλις εξελιχθούν λίγο ακόμα (και όταν λέω «λίγο» εννοώ στο άμεσο μέλλον, τύπου σε δύο χρόνια από τώρα), ο πρώτος κλάδος που θα την ακούσει για τα καλά θα είναι αυτός της διαγνωστικής ιατρικής.

Είναι ένα πράγμα να έχεις έναν γιατρό που θα κρίνει με βάση τα 10.000 περιστατικά που έχει δει στη ζωή του και ένα εντελώς διαφορετικό να έχεις έναν «γιατρό» που έχει «δει» στη ζωή του 5 δισεκατομμύρια περιστατικά. Δεν είναι θέμα ποιότητας το συγκεκριμένο πράγμα, είναι ξεκάθαρα θέμα ποσότητας.

Και όχι μόνο αυτό, αλλά το Chat-GPT είναι ένα LLM. Δηλαδή ένα AI που έχει στόχο την κατανόηση και παραγωγή κειμένου. Το ότι έχει τύχει να έχουν περαστεί στο training του ορισμένες ιατρικές πληροφορίες δε το κάνει εργαλείο γι' αυτή τη δουλειά. Είναι αυτονόητο ότι ένα εξειδικευμένο AI που θα'ναι trained πάνω σε ιατρικά δεδομένα, θα μπορεί να κάνει όντως διάγνωση, σε επίπεδο που ένας έμπειρος γιατρός θα μένει με το στόμα ανοιχτό .

Όμως μάντεψε ποιος θα χρησιμοποιεί αυτό το AI; Όχι εγώ, όχι εσύ, σίγουρα όχι η "μανούλα" του Facebook, αλλά κάποιος γιατρός. Ίσως να μην είναι εύχρηστο σαν ένα chatbot χτισμένο πάνω σ' ένα LLM, αλλά διαγνωστικά θα 'ναι όντως χρήσιμο. 

Οπότε δεν είμαι μόνο η ποσότητα των δεδομένων (που σ' αυτό δε πάσχει το GPT), αλλά κυρίως το ΕΙΔΟΣ τους.

[TasMan]

Ακόμα και ειδικό σύστημα ΑΙ να φτιαχτεί για να επεξεργάζεται ιατρικά δεδομένα και να κάνει διαγνώσεις πάλι θα χρειάζεται έναν ειδικό (ιατρό) και όχι τον ίδιο τον ασθενή να εισάγει τα δεδομένα αυτά. Να σας δώσω ένα παράδειγμα: Έστω ότι ένας ασθενής παραπονιέται ότι έχει ήπιο στην κοιλιά στην περιοχή του στομαχιού (επιγάστριο) κυρίως μετά από φαγητό. Με αυτό το δεδομένο η πρώτη προφανής διάγνωση (που πιθανώς να έκανε ένα ΑΙ) είναι δυσπεψία ή γαστρίτιδα για την οποία χορηγούνται γαστροπροστατευτικά. Έστω τώρα ότι τον εξετάζει ένας γιατρός και βρίσκει ότι στο επιγάστριο είναι η αντανάκλαση του πόνου και ότι ο κύριος πόνος είναι λίγο πιο δεξιά και μάλιστα κατά την ψηλάφηση γίνεται εντονότατος. Το πρώτο πράγμα που θα σκεφτεί είναι χολοκυστίτιδα που είναι πολύ πιο σοβαρή κατάσταση που χρειάζεται αντιβίωση, νοσηλεία και πιθανώς χειρουργείο σε 2ο χρόνο. Το ξαναλέω: Το τι αναφέρει ένας ασθενής (συμπτώματα) με το τι βρίσκει ένας ειδικός (σημεία) μπορεί να απέχουν πολύ και στην ιατρική διαχωρίζονται ακριβώς γιατί κάποιος πρέπει όχι μόνο να τα ΞΕΡΕΙ αλλά και να τα ΨΑΞΕΙ.

[atypicalcoder]

Έχω πάθει πλάκα.

Διαβάζω από κόσμο που υποστηρίζει σθεναρά το AI στην ιατρική και τρομάζω για το μέλλον μας.

1 ώρα πριν, Haldol είπε

Και όχι μόνο αυτό, αλλά το Chat-GPT είναι ένα LLM. Δηλαδή ένα AI που έχει στόχο την κατανόηση και παραγωγή κειμένου. Το ότι έχει τύχει να έχουν περαστεί στο training του ορισμένες ιατρικές πληροφορίες δε το κάνει εργαλείο γι' αυτή τη δουλειά. Είναι αυτονόητο ότι ένα εξειδικευμένο AI που θα'ναι trained πάνω σε ιατρικά δεδομένα, θα μπορεί να κάνει όντως διάγνωση, σε επίπεδο που ένας έμπειρος γιατρός θα μένει με το στόμα ανοιχτό .

Όμως μάντεψε ποιος θα χρησιμοποιεί αυτό το AI; Όχι εγώ, όχι εσύ, σίγουρα όχι η "μανούλα" του Facebook, αλλά κάποιος γιατρός. Ίσως να μην είναι εύχρηστο σαν ένα chatbot χτισμένο πάνω σ' ένα LLM, αλλά διαγνωστικά θα 'ναι όντως χρήσιμο. 

Οπότε δεν είμαι μόνο η ποσότητα των δεδομένων (που σ' αυτό δε πάσχει το GPT), αλλά κυρίως το ΕΙΔΟΣ τους.

Δεν θα πήγαινα ποτέ σε γιατρό αν ήξερα ότι χρησιμοποιεί ΑΙ.

Επεξ/σία 8 Ιανουαρίου από atypicalcoder