KI als Arzt? Patienten sind skeptisch

Von Alice Lanzke (dpa)/Markus Brauer

Ein unerklärliches Ziehen im Bauch, ein hartnäckiger Husten oder ein merkwürdiger Fleck auf dem Zehennagel: Dass Menschen bei unterschiedlichsten Symptomen Google befragen, ist kein neues Phänomen.

Mit der zunehmenden Beliebtheit von KI-basierten Chatbots wie ChatGPT scheinen die Möglichkeiten zur digitalen Selbstdiagnose weiter gewachsen zu sein. Tatsächlich aber wird der medizinischen Kompetenz einer solchen Künstlichen Intelligenz noch mit großen Vorbehalten begegnet, zeigt eine Würzburger Studie, über die im Fachblatt „Nature Medicine“ berichtet wird.

Influence of believed #AI involvement on the perception of digital #medical advice https://t.co/3aktpnQzD4 — Temerty Centre for AI in Medicine (T-CAIREM) (@UofT_TCAIREM) July 29, 2024

Wahrnehmung von KI-Ratschlägen untersucht

Die Würzburger Wissenschaftler untersuchten die Reaktion von Menschen auf KI-generierte medizinische Ratschläge. „Uns interessierte nicht die technische Kompetenz der KI, sondern allein die Frage, wie der KI-Output wahrgenommen wird“, sagt Moritz Reis von der Julius-Maximilians-Universität.

Dafür teilte das Forschungsteam mehr als 2000 Probanden in drei Gruppen ein, die identische medizinische Ratschläge erhielten:

• Die erste Gruppe bekam gesagt, dass die Empfehlungen von einem Arzt oder einer Ärztin stammten.
• Bei der zweiten wurde ein KI-basierter Chatbot als Urheber genannt.
• Die dritte Gruppe ging davon aus, dass die Ratschläge zwar von einem Chatbot stammten, aber nochmal ärztlich überprüft wurden.

KI als weniger empathisch und verlässlich wahrgenommen

Die Probanden bewerteten die Empfehlungen auf Verlässlichkeit, Verständlichkeit und Empathie. Sobald sie vermuteten, dass eine KI beteiligt war, nahmen sie die Ratschläge als weniger empathisch und verlässlich wahr. Dies galt auch für die Gruppe, die glaubte, dass ein Arzt die KI-Empfehlungen überprüft hatte.

Entsprechend waren sie weniger bereit, diesen Empfehlungen zu folgen. „Der Effekt der Voreingenommenheit gegen KI ist zwar nicht riesig, aber statistisch signifikant“, kommentiert Reis.

 

 

Erklärungsansätze für KI-Skepsis

Die KI-Skepsis erklärt sich der Kognitionspsychologe teilweise mit Stereotypen: „Viele glauben, eine Maschine könne nicht empathisch sein.“ Bei der Verständlichkeit bewerteten alle drei Gruppen die Ratschläge jedoch gleich.

Für die Forschungsgruppe ist die festgestellte KI-Skepsis wichtig, da KI in der Medizin eine immer wichtigere Rolle spiele. So werden derzeit zahlreiche Studien zu neuen KI-Anwendungsmöglichkeiten veröffentlicht.

 

 

Umso bedeutsamer sei die öffentliche Akzeptanz, betont Reis. „Bei der Frage nach dem künftigen Einsatz von KI in der Medizin geht es nicht nur um das technisch Mögliche, sondern auch darum, wie weit Patienten mitgehen.“ Aufklärung über entsprechende Anwendungen und KI generell sei nötig.

„Darüber hinaus haben andere Studien gezeigt, wie wichtig es für das Patientenvertrauen ist, dass am Ende immer der menschliche Arzt oder Ärztin gemeinsam mit den Patienten die finale Entscheidungsgewalt hat“, unterstreicht Reis.

Transparenz als Schlüsselfaktor

Für besonders relevant hält der Wissenschaftler Transparenz. „Das bedeutet zum Beispiel, dass eine KI nicht nur eine Diagnose stellt, sondern auch nachvollziehbar erklärt, welche Informationen zu diesem Ergebnis geführt haben.“

Die Qualität dieser Ergebnisse wird bereits seit längerem wissenschaftlich untersucht – mit unterschiedlichen Erfolgen. So attestierte etwa eine 2023 im „Journal of Medical Internet Research“ ChatGPT eine hohe Diagnosegenauigkeit.

 

 

Getestet mit 36 Fallbeispielen stellte der Chatbot in fast 77 Prozent der Fälle die korrekte endgültige Diagnose. In Notaufnahmen reichte die Diagnosekompetenz einer niederländischen Studie zufolge gar an die von Ärzten heran. Ausgestattet mit den anonymisierten Daten von 30 Patienten, die in einer niederländischen Erste-Hilfe-Stelle behandelt worden waren, stellte ChatGPT in 97 Prozent der Fälle die richtige Diagnose (Annals of Emergency Medicine, 2023).

Schlechte Trefferquote bei Diagnosen

Im Gegensatz dazu stellte eine 2023 im Fachblatt „Jama“ veröffentlichte Studie fest, dass der Chatbot bei 70 medizinischen Fallbeispielen nur 27 Fälle richtig diagnostizierte. Das sind gerade einmal 39 Prozent. Eine im Journal „Jama Pediatrics“ präsentierte Studie kam zu dem Schluss, dass diese Trefferquote bei Krankheiten, die in erster Linie Kinder betreffen, noch schlechter ist.

ChatGPT in der medizinischen Ausbildung

Eine aktuelle im Fachblatt „Plos One“ veröffentlichte Studie hat nun untersucht, ob ChatGPT in der medizinischen Ausbildung von Nutzen sein könnte. Schließlich greife der Chatbot nicht nur auf eine riesige Wissensbasis zurück, sondern sei auch in der Lage, dieses Wissen interaktiv und verständlich zu vermitteln, so das Forschungsteam des kanadischen London Health Sciences Centre.

New paper! An exploratory survey about using ChatGPT in education, healthcare, & research https://t.co/xC2jShbKr8#PLOSONE led by @mhmd_hosseini@CatGaoHow@IAIM_NU@NUCATSInstitute@NUFeinbergMed@galterlibrary — Kristi Holmes (@kristiholmes) October 24, 2023

Die Gruppe fütterte ChatGPT mit 150 sogenannten Fallherausforderungen aus einer Datenbank mit medizinischen Fallgeschichten, in denen Symptome und Krankheitsverlauf beschrieben werden. Sowohl angehende als auch bereits im Beruf stehende Medizinerinnen und Mediziner sind aufgefordert, in einem Antwort-Wahl-Verfahren eine Diagnose zu stellen und einen Behandlungsplan zu entwickeln.

ChatGPT als Diagnoseinstrument ungenau

ChatGPT lag bei diesem Test in gerade einmal knapp der Hälfte der Fälle (74 von 150) richtig. Die Studie stellte fest, dass ChatGPT Schwierigkeiten bei der Interpretation von Laborwerten und bildgebenden Verfahren hat und wichtige Informationen übersehe.

Entsprechend kommen die Autoren zu dem Schluss, dass ChatGPT in seiner derzeitigen Form als Diagnoseinstrument nicht genau sei und bei der Verwendung des Chatbots als Diagnosewerkzeug wie auch als Lehrmittel unbedingt Vorsicht geboten sei.

„Die Kombination aus hoher Relevanz und relativ geringer Genauigkeit spricht dagegen, sich bei der medizinischen Beratung auf ChatGPT zu verlassen, da es wichtige Informationen präsentieren kann, die möglicherweise irreführend sind“, heißt es in der Studie. Eine Warnung, die höchstwahrscheinlich ebenso für medizinische Laien gilt, die den Chatbot für digitale Selbstdiagnosen nutzen.

Info: Schlüsseltechnologie Künstliche Intelligenz

KI KI ist ein Überbegriff – für unterschiedliche Maschinen und Programme, die ähnlich wie Menschen selbstständig lernen, urteilen und Probleme lösen können. Computer lernen, indem sie gewaltige Datenmengen auswerten. Ausgefeilte Algorithmen können in Bildern, Texten oder gesprochener Sprache Muster erkennen, anhand dieser Ereignisse vorhersagen und Entscheidungen treffen.

Medizin In der Medizin soll KI bei der Früherkennung von Krebs unterstützen, Roboter führen Teile von Operationen schon jetzt wesentlich präziser durch als ein Chirurg. Das Deutsche Forschungszentrum für Künstliche Intelligenz arbeitet unter anderem an Exoskeletten, die zum einen an unzugänglichen Orten wie in Tiefsee oder Weltraum eingesetzt werden könnten, die aber auch Pflegekräften die körperlich anstrengende Arbeit erleichtern sollen.

Zukunft In fast allen Branchen werden die Bedeutung von KI wachsen, sagen Wirtschaftsverbände. KI werde wichtig dort, wo Daten gesammelt und interpretiert werden können, dies treffe nahezu auf die gesamte Wirtschaft zu. Künftig wird es kaum noch Produkte oder Dienstleistungen geben, die nicht auf die eine oder andere Weise KI-Technologie nutzen. KI wird Grundlage für die Entwicklung autonomer Autos ebenso wie für eine effiziente Logistik mit optimaler Routenplanung. In der industriellen Fertigung sind KI-Systeme in der Lage, Fehler in Bauteilen automatisch zu erkennen.