Wissenschaftler erfanden eine Krankheit, die es nicht gibt – und KI-Chatbots fielen darauf herein. Ein Experiment aus dem Fachjournal Nature zeigt, wie erschreckend leicht medizinische Fehlinformationen in KI-Systeme eingeschleust werden können, und was das für Unternehmen und Nutzer bedeutet.
KI-Chatbots verbreiten medizinische Fehlinformationen – auch zu erfundenen Krankheiten
Das Experiment: Eine Krankheit aus dem Nichts
Die Studie, veröffentlicht in Nature, dokumentiert ein gezieltes Täuschungsexperiment. Wissenschaftler erfanden die Erkrankung „Bixonimania” und platzierten eine Handvoll offensichtlich fragwürdiger akademischer Paper zu diesem Thema im Netz. Die Quellen waren bewusst dubios gestaltet – kein seriöser Peer-Review-Prozess, keine etablierten Fachzeitschriften. Dennoch griffen gängige KI-Chatbots auf dieses Material zurück und gaben Nutzern Auskunft über Symptome, Risiken und den Umgang mit der erfundenen Krankheit.
Das Experiment offenbart ein strukturelles Problem moderner Large Language Models: Sie unterscheiden in der Praxis häufig nicht zuverlässig zwischen seriösen und unseriösen Quellen. Sobald Inhalte im Training oder über Retrieval-Mechanismen zugänglich sind, können sie als faktische Grundlage für Antworten dienen – unabhängig von ihrer tatsächlichen Validität.
Warum das Risiko im Gesundheitsbereich besonders hoch ist
Fehlinformationen durch KI sind kein neues Thema, doch der medizinische Kontext verschärft die Konsequenzen erheblich. Patienten, die über Chatbots nach Symptomen oder Diagnosen suchen, treffen unter Umständen Entscheidungen auf Basis nicht existenter Erkrankungen oder falscher Behandlungsansätze.
Selbst grob fehlerhafte Quellen können ausreichen, um ein KI-System zu einer überzeugend klingenden, aber inhaltlich falschen Auskunft zu veranlassen.
Besonders problematisch ist dabei die Tonlage vieler Systeme: KI-Chatbots neigen dazu, Informationen mit einer Sicherheit zu formulieren, die der tatsächlichen Verlässlichkeit der zugrunde liegenden Quellen nicht entspricht. Nutzer erkennen Unsicherheiten oder fehlerhafte Trainingsdaten in den Antworten selten auf den ersten Blick.
Schwachstellen in der Qualitätssicherung
Die Ergebnisse werfen grundlegende Fragen an die Anbieter großer KI-Sprachmodelle auf:
- Welche Mechanismen existieren, um die Qualität von Quellen zu bewerten?
- Wie werden medizinische Inhalte gefiltert oder mit Warnhinweisen versehen?
- Wie robust sind Sicherheitsmechanismen gegenüber gezielt platzierten Falschinformationen?
Die Studie legt nahe, dass bestehende Schutzmechanismen selbst bei wenig professionell aufgemachten Fehlinformationen versagen können.
Regulatorisch ist das Thema in der EU bereits im Fokus: Der AI Act stuft KI-Anwendungen im Gesundheitsbereich als Hochrisikosysteme ein und stellt entsprechende Anforderungen an Transparenz und Genauigkeit. Die praktische Umsetzung dieser Anforderungen steht für viele Anbieter jedoch noch aus.
Einordnung für deutsche Unternehmen
Für Unternehmen, die KI-Chatbots im Kundenkontakt, in HR-Prozessen oder im internen Wissensmanagement einsetzen, liefert die Studie einen konkreten Anlass zur Überprüfung bestehender Systeme. Besonders in regulierten Branchen – Gesundheit, Pharma, Versicherungen, Finanzdienstleistungen – sollten KI-generierte Antworten nicht ohne redaktionelle oder fachliche Kontrollinstanz an Endnutzer ausgespielt werden.
Praktische Maßnahmen, die sich direkt aus diesem Experiment ableiten lassen: klare Eskalationsprozesse, regelmäßige Qualitätstests mit gezielt fehlerhaften Eingaben und eine transparente Kommunikation über die Grenzen KI-gestützter Auskunftssysteme.