KI im Gesundheitswesen: Chatbots, Triage und Medizinprodukte

💡 Kernaussagen

• Der Einsatz eines KI-Systems in einer Gesundheitsorganisation macht es nicht automatisch zum Hochrisikosystem oder Medizinprodukt. Maßgeblich sind seine Zweckbestimmung und seine tatsächliche Wirkung auf Entscheidungen.
• Ein Termin-Chatbot, ein System für Notfalltriage und Software mit Diagnoseempfehlungen gehören nicht in dieselbe Kategorie. Notfalltriage ist im EU AI Act als Hochrisiko-Anwendung genannt. Für Diagnose oder Therapie bestimmte Software kann zusätzlich unter das Medizinprodukterecht fallen.
• Die Pflichten im Gesundheitswesen überschneiden sich. EU AI Act, Medizinprodukterecht, DSGVO oder das türkische KVKK, Berufsrecht und Gesundheitsvorschriften des Leistungslands können gleichzeitig gelten.
• Der Zeitplan für Hochrisikosysteme muss getrennt gelesen werden. Eine Änderung von 2026 verschob die einschlägigen Vorschriften für Systeme nach Anhang III auf den 2. Dezember 2027. Für Systeme, die über Produkte nach Anhang I wie Medizinprodukte als Hochrisiko gelten, ist der Termin der 2. August 2028.

Stellen Sie sich drei Chatbots auf der Website eines Medizintourismus-Unternehmens vor.

Der erste nennt Adresse, Öffnungszeiten und verfügbare Termine der Klinik. Der zweite fragt Symptome ab und bestimmt, wie dringend die Person untersucht werden sollte. Der dritte interpretiert ein hochgeladenes Testergebnis und schlägt eine mögliche Diagnose oder Behandlungsoption vor.

Alle drei können dieselbe Chatoberfläche verwenden. Im Hintergrund könnten sie sogar mit demselben Sprachmodell arbeiten.

Trotzdem sind sie nicht dasselbe System.

Der erste Chatbot erleichtert Verwaltungsarbeit. Der zweite beeinflusst, wie schnell ein Patient Versorgung erhält. Der dritte greift in die klinische Entscheidung selbst ein. Je schwerer die Folgen einer falschen Antwort wiegen, desto stärker verändern sich die rechtlichen, produktbezogenen und betrieblichen Verantwortlichkeiten.

„Wir nutzen einen Chatbot“ ist deshalb eine viel zu grobe Beschreibung für die Bewertung von KI im Gesundheitswesen. Entscheidend ist, ab welchem Punkt das Gespräch eine Gesundheitsentscheidung verändert.

Das Gesundheitswesen ist für sich genommen keine Klassifikation

Software zur Prognose des Essensbedarfs in einem Krankenhaus und Software zur Interpretation eines Radiologiebilds können in derselben Organisation laufen. Die eine unterstützt die Betriebsplanung. Die andere beeinflusst eine medizinische Entscheidung.

Der EU AI Act stuft ein System nicht allein nach dem Namen seiner Branche ein. Nach dem aktuellen konsolidierten Text der Verordnung kann ein KI-System im Wesentlichen auf zwei Wegen als Hochrisikosystem gelten.

Der erste Weg betrifft KI, die selbst ein in der EU reguliertes Produkt oder dessen Sicherheitskomponente ist. Medizinprodukte gehören zu diesen Produktgruppen. Damit das KI-System über diesen Weg als Hochrisikosystem gilt, muss das einschlägige Produktrecht außerdem eine Konformitätsbewertung durch Dritte verlangen.

Der zweite Weg erfasst sensible Verwendungen, die unmittelbar in Anhang III aufgeführt sind. Dazu gehören Systeme, die Notrufe natürlicher Personen bewerten, die Entsendung von Ersthilfediensten priorisieren oder Patienten in der Notfallversorgung triagieren.

Klassifikation und Anwendungszeitplan müssen getrennt betrachtet werden. Eine 2026 beschlossene Änderung verschob die einschlägigen Hochrisiko-Vorschriften für Systeme nach Anhang III auf den 2. Dezember 2027. Für Systeme, die über Produkte nach Anhang I wie Medizinprodukte als Hochrisiko gelten, ist der Termin der 2. August 2028. Ein System kann die Definition eines Hochrisikosystems bereits erfüllen, obwohl verbindliche Pflichten zu Risikomanagement, technischer Dokumentation und weiteren Hochrisiko-Anforderungen erst später einsetzen. Medizinprodukte-, Datenschutz- und Gesundheitsrecht warten nicht auf diese Termine.

Es ist daher falsch, jedes im Gesundheitswesen eingesetzte KI-System als Hochrisiko einzustufen. Ebenso falsch ist die Annahme, ein System könne nicht hochriskant sein, weil es „Chatbot“ heißt.

Die Einstufung folgt der Aufgabe des Systems, nicht seiner Produktbezeichnung.

Vier Verwendungen, vier unterschiedliche Folgen

Alltägliche Anwendungsfälle machen die Unterschiede greifbar.

1. Verwaltungsinformationen und Termine

Der Chatbot nennt Adresse, Öffnungszeiten, einen Preisrahmen oder freie Termine. Er trifft keine klinische Entscheidung, ordnet Patienten nicht nach Symptomen und empfiehlt keine Behandlung.

In den meisten Fällen ist eine solche Anwendung weder ein Medizinprodukt noch ein Hochrisiko-Anwendungsfall des EU AI Act im Gesundheitswesen. Die Organisation muss Nutzer unter Umständen trotzdem darüber informieren, dass sie mit KI interagieren, falsche Angaben korrigieren und personenbezogene Daten schützen.

Ein administrativer Chatbot bleibt nicht zwingend administrativ. Fragt ein Nutzer: „Ich habe Brustschmerzen. Kann ich bis morgen warten?“, und das System antwortet weiter, fallen die vorgesehene Grenze und die tatsächliche Nutzung auseinander.

2. Patientenaufnahme und Informationssammlung

Das System erfasst Beschwerden, Vorgeschichte, Medikamente und Kontaktdaten eines Patienten und sendet eine strukturierte Zusammenfassung an eine medizinische Fachkraft.

Das reine Sammeln oder Übermitteln von Informationen macht ein System nicht automatisch zum Medizinprodukt. Beeinflusst die Zusammenfassung jedoch die Beurteilung des Patienten, steigen die Risiken durch Fehler, Auslassungen und Verzerrungen. Eine Fachkraft kann eine unvollständige Zusammenfassung für vollständig halten, wenn das System nicht erkennen lässt, was es ausgelassen hat.

Die Produktgrenze muss eindeutig sein. Sammelt das System lediglich Informationen, oder zieht es bereits klinische Schlüsse? Ausgaben wie „möglicher Notfall“, „wahrscheinlichste Erkrankung“ oder „geeignete Behandlung“ können seine Zweckbestimmung verändern.

3. Triage in der Notfallversorgung

Das System bestimmt die Dringlichkeit, klassifiziert Anrufe oder beeinflusst, welcher Patient zuerst eine Ersthilferessource erhält.

Diese Verwendung ist in Anhang III des EU AI Act ausdrücklich als Hochrisiko aufgeführt. Für diesen Weg gelten die Anforderungen zu Risikomanagement, Datensteuerung, technischer Dokumentation, Protokollierung, menschlicher Aufsicht, Genauigkeit, Robustheit, Cybersicherheit, Konformität und Überwachung nach dem Inverkehrbringen ab dem 2. Dezember 2027. Dieser Termin nimmt Unternehmen nicht die Aufgabe ab, das System bereits heute richtig einzustufen und vorzubereiten.

Die Nennung in Anhang III beendet die Prüfung nicht in jedem Fall automatisch. Die Verordnung erlaubt für bestimmte eng begrenzte oder vorbereitende Aufgaben, die das Ergebnis einer Entscheidung nicht wesentlich beeinflussen, eine eingeschränkte Ausnahmeprüfung. Ein Anbieter, der sich darauf beruft, muss seine Bewertung dokumentieren, bevor er das System in Verkehr bringt. Systeme, die natürliche Personen profilieren, können diese Ausnahme nicht nutzen.

Einen Notruf zu transkribieren ist nicht dieselbe Aufgabe wie zu entscheiden, wer zuerst Hilfe erhält.

4. Diagnose- oder Therapieentscheidungen

Medizinprodukterecht kann einschlägig sein, wenn Software zur Diagnose, Prognose, Überwachung oder Feststellung des Verlaufs einer Krankheit angeboten wird oder Informationen für eine Therapieentscheidung liefert.

Die EU-Medizinprodukteverordnung bezieht Software in die Definition eines Medizinprodukts ein, wenn der Hersteller sie für einen bestimmten medizinischen Zweck vorsieht. Allgemeine Software wird nicht allein deshalb zum Medizinprodukt, weil eine Gesundheitsorganisation sie verwendet.

Diese Unterscheidung reicht bis in die Werbeaussagen hinein. Gebrauchsanweisung, technische Dokumentation, Vertriebsunterlagen und Produktversprechen bestimmen die Zweckbestimmung mit. Ein Hinweis wie „Fragen Sie Ihren Arzt“ macht ein Produkt nicht wieder zum Verwaltungswerkzeug, wenn es tatsächlich Diagnose- oder Behandlungsempfehlungen abgibt.

Was ändert sich, wenn Software zum Medizinprodukt wird?

Software als Medizinprodukt wird nicht nach der Größe ihres KI-Modells klassifiziert. Entscheidend ist, welche Entscheidung ihre Information verwendet und welche Folgen vernünftigerweise zu erwarten sind, wenn diese Entscheidung falsch ist.

Nach Regel 11 der EU-Medizinprodukteverordnung beginnt Software, die Informationen für diagnostische oder therapeutische Entscheidungen liefert, im Allgemeinen in Klasse IIa. Klasse III kann einschlägig sein, wenn eine falsche Entscheidung zum Tod oder zu einer irreversiblen Verschlechterung des Gesundheitszustands führen kann. Klasse IIb kann gelten, wenn sie eine schwerwiegende Verschlechterung verursacht oder einen chirurgischen Eingriff erforderlich macht. Bestimmte andere Software kann in Klasse I verbleiben.

Die Leitlinie der Europäischen Kommission zu Medizinproduktesoftware erläutert anhand von Beispielen zunächst die Qualifikation als Medizinprodukt und anschließend die Risikoklasse.

Mit der Klasse können die Anforderungen an Qualitätsmanagement, klinische Bewertung, technische Dokumentation, Konformitätsbewertung, CE-Kennzeichnung, Überwachung und Meldung von Vorkommnissen zunehmen. Das sind keine rechtlichen Anhänge, die erst nach dem Bau des Produkts ergänzt werden. Sie beeinflussen Modellversionen, Datenqualität, Leistungsschwellen, Änderungsmanagement und Gestaltung der Benutzeroberfläche.

EU AI Act und Medizinprodukterecht ersetzen einander nicht. Eine gemeinsame Leitlinie des Europäischen Ausschusses für künstliche Intelligenz und der Medical Device Coordination Group erläutert, wie beide Regelwerke einander ergänzen, wenn ein KI-System für Medizinprodukte die Hochrisiko-Bedingungen erfüllt. Die Hochrisiko-Vorschriften des EU AI Act für diesen Produktweg gelten ab dem 2. August 2028. Bereits bestehende Pflichten des Medizinprodukterechts, darunter Konformität, klinische Bewertung und Überwachung, bleiben in Kraft.

Die Grenze bei Fernleistungen im Medizintourismus

Eine in der Türkei betriebene Klinik könnte annehmen, ihre Software sei nicht betroffen, weil sie nicht physisch auf dem EU-Markt bereitgestellt wurde. Die Lage kann sich ändern, wenn die Software Teil einer online erbrachten diagnostischen oder therapeutischen Leistung für eine in der EU ansässige Person ist.

Artikel 6 der EU-Medizinprodukteverordnung verlangt die Einhaltung der Verordnung, wenn ein Produkt online oder über ein anderes Kommunikationsmittel für eine diagnostische oder therapeutische Leistung an einer in der EU ansässigen Person verwendet wird – selbst wenn das Produkt nicht auf dem EU-Markt in Verkehr gebracht wurde.

Derselbe Artikel erlaubt einem Mitgliedstaat außerdem, aus Gründen des Schutzes der öffentlichen Gesundheit von einem Anbieter von Diensten der Informationsgesellschaft zu verlangen, seine Tätigkeit einzustellen. Das bedeutet nicht, dass jeder Termin-Chatbot gesperrt werden kann. Es eröffnet aber einen unmittelbaren Eingriffsweg, wenn ein System als Medizinprodukt gilt und in Ferndiagnose oder Ferntherapie hineinreicht.

Interpretiert ein in der Türkei betriebenes System ein Testergebnis oder empfiehlt es einer in der EU ansässigen Person eine Behandlung, beantwortet der Satz „Der Server steht in der Türkei“ die Rechtsfrage nicht.

Auch in der Türkei ist das Feld nicht ungeregelt. Die am 2. Juni 2021 veröffentlichte Medizinprodukteverordnung schafft einen an der EU-Medizinprodukteverordnung ausgerichteten Rahmen für Produktsicherheit und Konformität. Ob Software in der Türkei als Medizinprodukt gilt, muss ebenfalls gesondert geprüft werden.

Für ein Medizintourismus-Unternehmen lässt sich die geografische Frage daher nicht in einem Satz beantworten. Zu prüfen sind der Sitz des Unternehmens, der Aufenthaltsort des Patienten, der Ort der Leistung, die Versprechen der Software und der Ort der klinischen Entscheidung.

Gesundheitsdaten bilden einen eigenen sensiblen Datenfluss

Verarbeitet ein System Gesundheitsdaten, gelten Datenschutzpflichten auch dann, wenn es weder als Hochrisikosystem nach dem EU AI Act noch als Medizinprodukt eingestuft wird.

Die DSGVO behandelt Gesundheitsdaten als besondere Kategorie personenbezogener Daten. Ihre Verarbeitung erfordert sowohl eine Rechtsgrundlage nach den allgemeinen Regeln als auch eine der besonderen Bedingungen aus Artikel 9. Gesundheitsversorgung, öffentliche Gesundheit, wissenschaftliche Forschung und ausdrückliche Einwilligung sind unterschiedliche Wege mit unterschiedlichen Voraussetzungen.

Artikel 6 des türkischen KVKK behandelt Gesundheitsdaten ebenfalls als besondere Kategorie personenbezogener Daten. Die aktuelle Anleitung der türkischen Datenschutzbehörde zur Verarbeitung besonderer Kategorien personenbezogener Daten erläutert die 2024 geänderten Verarbeitungsvoraussetzungen und die Pflichten der Verantwortlichen.

Bei einem Gesundheits-Chatbot beschränkt sich die Frage nicht auf die Patientenakte im klinischen System. Wird die Nachricht des Nutzers an einen externen KI-Anbieter gesendet, folgen Fragen zu Auftragsverarbeitern und Unterauftragsverarbeitern, Speicherung, internationalen Übermittlungen und Sicherheit. Diesen Datenweg untersuche ich ausführlich im vorherigen Artikel dieser Reihe.

„Der Patient hat es selbst geschrieben“ beseitigt die Verantwortung der Organisation nicht. Auch die Produktgestaltung bestimmt, ob eine Oberfläche zur Offenlegung in Freitext ermuntert, unnötige Daten vor der Übermittlung zurückhält und ein sensibles Gespräch rechtzeitig in einen sichereren Kanal überführt.

Was bedeutet menschliche Aufsicht im Gesundheitswesen?

Eine abschließende Freigabeschaltfläche für Arzt oder Callcenter-Mitarbeiter reicht allein nicht als menschliche Aufsicht.

Die verantwortliche Person muss die Grenzen des Systems verstehen, seine Empfehlung verwerfen können, die zugrunde liegenden Informationen prüfen und bei Bedarf in einen sicheren alternativen Ablauf wechseln. Zeigt die Oberfläche nur das Modellergebnis, während Unsicherheit oder fehlende Informationen verborgen bleiben, bestätigt der Mensch möglicherweise nur noch die Automatisierung.

Die Gestaltung menschlicher Aufsicht sollte mindestens diese Fragen beantworten:

• Welche Entscheidung unterstützt das System, und welche darf es niemals treffen?
• Welcher Befund löst ein dringendes menschliches Eingreifen aus?
• In welchen Situationen darf die Ausgabe nicht verwendet werden, selbst wenn das Modell sicher wirkt?
• Kann die medizinische Fachkraft die Informationen hinter der Empfehlung und die fehlenden Angaben sehen?
• Wird die Leistung getrennt nach Sprachen, Alter, Geschlecht, Gesundheitszustand und Patientengruppen überwacht?
• Wie wird eine erkannte Fehlleitung erfasst, gemeldet und korrigiert?
• Wird bei einer Änderung von Modell oder Prompt eine neue klinische Bewertung angestoßen?

Die Antworten dürfen nicht nur in einem Schulungsdokument stehen. Sie müssen sich in der Gestaltung von Befugnissen, Benutzeroberflächen, Protokollen, Personalplanung und dem Umgang mit Vorfällen wiederfinden.

Der bessere Ausgangspunkt: Zweck statt Funktionsliste

Unternehmen beschreiben einen Gesundheits-Chatbot häufig über Funktionen: natürliche Sprache, mehrere Sprachen, Antworten rund um die Uhr, Zusammenfassungen, Empfehlungen und automatische Weiterleitung.

Für Regelkonformität und Produktsicherheit ist eine klare Zweckbestimmung hilfreicher.

Wer setzt das System für wen ein, in welchem Umfeld, mit welchen Eingaben und zur Unterstützung welcher Entscheidung? Welche Entscheidung darf es niemals treffen? Welche Folgen sind bei einer falschen Ausgabe vernünftigerweise zu erwarten? Wann übernimmt ein Mensch?

Ohne diese Grenze lassen sich Datensatz, Testplan, Medizinprodukteklasse und Pflichten nach dem EU AI Act kaum angemessen bewerten.

Nicht jedes Problem braucht KI. Terminverfügbarkeit, Dokumentenprüfung und standardisierte Vorbereitungshinweise lassen sich möglicherweise zuverlässiger mit einem gut gestalteten Formular und einem regelbasierten Ablauf lösen. Schafft die Flexibilität von KI keinen klinischen Wert, fügt sie womöglich nur Unsicherheit und Kontrollkosten hinzu.

Die Bewertung von Unternehmensrollen, Daten und menschlicher Aufsicht nach der Risikoeinstufung gilt auch im Gesundheitswesen. Der Unterschied liegt darin, dass falsche Ausgaben hier schwerere Folgen haben können und sich mehrere Rechtsregime überschneiden.

Die abschließende Frage sollte daher nicht lauten: „Dürfen wir unseren Chatbot im Gesundheitswesen einsetzen?“

Nützlicher sind diese Fragen: Wie beeinflusst das System Termin, Priorität, Diagnose oder Behandlung eines Patienten? Wer trägt die Verantwortung für die Empfehlung oder Entscheidung, die es vorbereitet? Und wer erkennt eine Fehlleitung rechtzeitig und greift ein?

Dieser Artikel enthält allgemeine Informationen und stellt keine Rechts- oder Medizinberatung für ein bestimmtes Produkt, eine Gesundheitsleistung oder eine Datenverarbeitung dar.