EU AI Act: Was ist nach der Risikoeinstufung zu tun?

💡 Zusammenfassung: Die wichtigsten Punkte

• Die Risikopyramide ist eine nützliche Einstiegskarte, aber kein Entscheidungssystem. Ein Unternehmen muss wissen, ob ein System verboten, hochriskant, transparenzpflichtig oder mit minimalem Risiko verbunden ist. Dort darf seine Compliance-Bewertung nicht enden.
• Dasselbe Modell hat in unterschiedlichen Aufgaben unterschiedliche Folgen. Ein Hotel-Informationschatbot, ein Werkzeug zur Bewerberrangfolge und ein Triage-System im Gesundheitsbereich können denselben KI-Anbieter nutzen, ohne dieselben rechtlichen oder operativen Lasten zu tragen.
• Die eigentliche Frage ist nicht das Risikolabel, sondern die Betriebskarte. Was tut das System, wen betrifft es, welche Rolle hat das Unternehmen, wohin fließen Daten, funktioniert menschliche Aufsicht praktisch und welche weiteren Gesetze gelten?

Ein Unternehmen kauft ein KI-Werkzeug, das Bewerber im Einstellungsprozess priorisiert. Der Anbieter erklärt, das Produkt sei mit dem EU AI Act vereinbar. Das Unternehmen führt eine erste Prüfung durch und stuft das System als hochriskant ein.

Das ist kein schlechter Anfang.

Aber es reicht nicht. Das Label „hochriskant“ zeigt dem Unternehmen, wie schwerwiegend die Folgen des Systems sein können. Es sagt für sich allein nicht, welche Rolle das Unternehmen innehat, welche Aufzeichnungen es führen muss, was es Bewerbenden erklären muss, wie das Recruiting-Team eine Empfehlung hinterfragen soll, welche Nachweise es vom Anbieter verlangen sollte oder welche anderen Gesetze wie die DSGVO gelten.

Den EU AI Act auf vier Risikostufen zu reduzieren, ist praktisch. Ich habe genau diesen Rahmen im ersten Beitrag verwendet. Ohne zu wissen, dass ein System verboten, hochriskant, transparenzpflichtig oder mit minimalem Risiko verbunden sein kann, ist die Verordnung schwer zu verstehen.

Unternehmen treffen ihre Entscheidungen jedoch nicht auf einer Pyramide. Sie treffen sie über Produkte, Daten, Lieferanten, Prozesse, menschliche Aufsicht und Verantwortlichkeitsketten hinweg.

Dieser Beitrag behandelt die Betriebsarbeit, die nach dem Risikolabel beginnt.

Was sagt die Risikostufe aus?

Der aktuelle konsolidierte Text des EU AI Act bewertet KI-Systeme in ihrem Nutzungskontext. Die Europäische Kommission erläutert den Rahmen ebenfalls häufig über vier Stufen: unannehmbares Risiko, hohes Risiko, begrenztes Risiko und minimales Risiko.

Diese Einstufung leistet zwei Dinge gut.

Erstens hilft sie Führungskräften, das Ausmaß eines möglichen Schadens schnell zu erkennen. Ein Hotel-Chatbot und ein System zur Bewerberrangfolge erledigen nicht dieselbe Aufgabe. Auch eine Empfehlung zur medizinischen Triage und eine Restaurantempfehlung haben nicht dieselbe Konsequenz. Es ist nachvollziehbar, dass die Regeln anspruchsvoller werden, je größer die Auswirkungen einer falschen Ausgabe sind.

Zweitens klärt sie die ersten Fragen für die Prüfung eines Unternehmens. Ist die Nutzung verboten? Ist sie hochriskant? Muss dem Nutzer mitgeteilt werden, dass er mit KI interagiert? Bleibt das System in der Kategorie des minimalen Risikos?

Bis hierhin funktioniert die Pyramide.

Bei der nächsten Frage wird sie oft unvollständig: Wie verändert diese Einstufung unseren täglichen Betrieb?

Für hochriskante Systeme gelten Anforderungen an Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Gebrauchsanweisungen, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Diese enden nicht damit, dass die Rechtsabteilung einige Dokumente vorbereitet. Sie betreffen Produktgestaltung, Lieferantenverträge, Protokollierung, Benutzeroberflächen, Schulung und Vorfallmanagement.

Ein Chatbot, der als risikoarm gilt, kann unter dem EU AI Act nicht dieselben Lasten tragen. Werden personenbezogene Daten an ein Modell eines Drittanbieters gesendet, bleiben jedoch die DSGVO oder die türkische KVKK relevant.

Die Risikostufe ist deshalb die erste Antwort, nicht die letzte.

Dasselbe Modell, drei unterschiedliche geschäftliche Folgen

Ein Hotel nutzt ein Large Language Model in seinem Website-Chatbot. Ein Besucher fragt nach Frühstückszeiten, Zimmerausstattung oder Flughafentransfers. Eine falsche Antwort kann das Kundenerlebnis schädigen, eine Beschwerde auslösen oder Umsatz kosten. In den meisten Fällen beeinträchtigt das System jedoch nicht schwerwiegend Grundrechte, Gesundheit oder Sicherheit.

Nutzen Sie dasselbe Modell, um Bewerbungen zu sortieren, ändert sich die Lage. Das System kann nun den Zugang einer Person zu Beschäftigung beeinflussen. Anhang III der Verordnung behandelt bestimmte Anwendungen in Beschäftigung und Arbeitnehmermanagement als hochriskant. Die Aussage „Das Modell ist dasselbe“ sagt wenig aus, weil sich der Zweck geändert hat.

Nutzen Sie dieses Modell im ersten Gespräch zwischen einem Unternehmen für Medizintourismus und einem potenziellen Patienten, in dem es Symptome bewertet und Dringlichkeit vorschlägt, wird die Lage erneut sensibler. Das System liefert möglicherweise nur Informationen. Kommen jedoch Triage, Diagnose, Behandlungshinweise oder eine Medizinproduktefunktion in den Prozess, werfen der EU AI Act, Produktsicherheit und Datenschutz jeweils eigene Fragen auf. Die Unterscheidung zwischen Gesundheits-Chatbots, Triage und Medizinprodukten erläutere ich in einem eigenen Beitrag dieser Reihe genauer.

Alle drei Beispiele können dem Nutzer dasselbe Chatfenster zeigen. Der rechtliche und operative Unterschied entsteht durch die Aufgabe des Systems, nicht durch das Aussehen der Oberfläche.

Diese Unterscheidung möchte ich in der gesamten Reihe erhalten. Unternehmen geben der Frage „Welches Modell nutzen wir?“ oft zu viel Gewicht. Rechtliche und operative Risiken zeigen sich meist in einer anderen Frage: „Welche reale Entscheidung hat diese Ausgabe verändert?“

Die Unternehmensrolle steht neben dem Risikolabel

Der EU AI Act richtet sich nicht nur an die Organisation, die ein Modell entwickelt. Er definiert verschiedene Rollen, darunter Anbieter, Betreiber, Importeur, Händler, Produkthersteller und Bevollmächtigter.

Ein Unternehmen, das ein bestehendes System im eigenen Betrieb nutzt, wird häufig Betreiber sein. Dasselbe Unternehmen kann sich der Anbieterrolle nähern, wenn es ein anderes Produkt unter seinem eigenen Namen Kunden anbietet.

Wichtiger ist: Eine Rolle kann sich ändern. Ein Händler, Importeur, Betreiber oder anderer Dritter kann Anbieterpflichten auslösen, wenn er ein System unter seinem eigenen Namen in Verkehr bringt, wesentlich verändert oder seinen vorgesehenen Zweck in eine hochriskante Nutzung ändert.

Das mag wie eine technische Fußnote klingen. Für das Unternehmen gehört es direkt in die Entscheidung zwischen Eigenentwicklung und Kauf.

Ein System zu nutzen ist das eine. Eigene Daten, Entscheidungslogik, Oberfläche und Marke hinzuzufügen und es dann auf den Markt zu bringen, ist etwas anderes. Die Compliance-Erklärung eines Lieferanten gibt das System, das Sie letztlich schaffen, nicht automatisch frei.

Die erste Zeile eines KI-Inventars sollte daher nicht nur fragen: „Welche KI-Systeme haben wir?“ Besser ist: Zu welchem Zweck, für welchen Nutzer, innerhalb welcher Entscheidung und in welcher Rolle nutzen wir es?

Transparenz ist keine Alternative zu Kontrollen für Hochrisikosysteme

Bei Chatbots ist Transparenz oft die sichtbarste Pflicht. Wenn ein System für die direkte Interaktion mit Menschen bestimmt ist, sollten Nutzer darüber informiert werden, dass sie mit KI interagieren – sofern dies nicht bereits vernünftigerweise offensichtlich ist. Deepfakes, synthetische Inhalte, Emotionserkennung und biometrische Kategorisierung haben eigene Offenlegungspflichten.

Das kann Unternehmen in falscher Sicherheit wiegen: „Wir haben dem Nutzer gesagt, dass es KI ist, also sind wir fertig.“

Das sind sie möglicherweise nicht.

Transparenz hilft Nutzern zu verstehen, womit sie es zu tun haben. Trägt das System jedoch zu einer hochriskanten Entscheidung bei, können weiterhin Data Governance, menschliche Aufsicht, Aufzeichnungspflichten, Genauigkeit, Meldung von Vorfällen und Konformitätsbewertung gelten. Verarbeitet das System personenbezogene Daten, gelten Datenschutzvorschriften zusätzlich.

Für einen Hotel-Chatbot ist der Hinweis „Dieses Gespräch nutzt einen KI-unterstützten Dienst“ oft ein sinnvoller Ausgangspunkt. Gibt ein Gast jedoch eine Reisepassnummer, Gesundheitsangabe, Information über ein Kind oder einen besonderen Wunsch ein, ist Transparenz nicht mehr das einzige Thema.

Eine Offenlegung legitimiert keinen Datenfluss. Sie nimmt der Beziehung nur den Vorhang.

Menschliche Aufsicht ist kein Freigabeknopf

Menschliche Aufsicht ist eine wichtige Anforderung an Hochrisikosysteme. In vielen Unternehmen kann sie jedoch leicht zu einer bloß formalen Bedingung werden.

Wenn ein Mitarbeiter bei einer Empfehlung auf „Freigeben“ klickt, ist das nicht zwingend echte Aufsicht. Diese Person muss die Grenzen des Systems verstehen, wissen, wann sie seine Empfehlung zurückweisen sollte, und verstehen, was nach einer Zurückweisung geschieht. Ohne Zeit, Nachweise und Befugnis wird sie nur zur Unterschrift am Ende der Automatisierung.

Das ist eine Frage der Betriebsgestaltung. Soll menschliche Aufsicht funktionieren, müssen Rollendefinitionen, Schulung, Oberflächen, Aufzeichnungen und Ausnahmeabläufe gemeinsam gestaltet werden.

Kann eine HR-Fachkraft in einem Recruiting-System festhalten, warum sie die Rangfolge geändert hat? Erklärt das System ausreichend, worauf seine Empfehlung beruht? Gibt es Schulung zu Automatisierungsbias? Welche Aufzeichnung wird geöffnet, wenn ein Bewerber widerspricht?

Diese Fragen sehen rechtlich aus. Es sind Betriebsfragen.

Anbieter allgemeiner KI-Modelle haben eigene Verantwortlichkeiten

Die Nutzung von OpenAI, Anthropic, Google oder einem anderen Anbieter eines allgemeinen KI-Modells macht das Unternehmen nicht automatisch selbst zum Anbieter eines allgemeinen KI-Modells. Die Verordnung begründet gesonderte Anbieterpflichten für solche Modelle, darunter technische Dokumentation, eine Urheberrechtsrichtlinie, eine Zusammenfassung der Trainingsinhalte und anspruchsvollere Sicherheitsbewertungen für Modelle mit systemischem Risiko.

Doch wenn der Modellanbieter seine eigenen Pflichten erfüllt, entfallen nicht Ihre Verantwortlichkeiten für das System, das Sie bauen.

Verbindet ein Unternehmen ein bestehendes Modell mit einem Kundenservice-Chatbot, bleibt es für Datenfluss, Nutzerhinweise, Lieferantenauswahl und die geschaffene Funktion verantwortlich. Dasselbe Modell mit einer sensiblen Entscheidung im Kreditwesen, Recruiting oder Gesundheitsbereich zu verbinden, verlangt eine andere Bewertung.

Die richtige Frage lautet nicht einfach: „Ist der Modellanbieter compliant?“ Diese Frage sollte gestellt werden, reicht aber nicht aus.

Besser lautet sie: Zu welchem System haben wir dieses Modell gemacht, und welches reale Ergebnis beeinflusst dieses System?

Datenschutz tritt durch eine andere Tür ein

Der EU AI Act ersetzt nicht die DSGVO. Ebenso wenig ersetzt er die türkische KVKK.

Ein System kann nach dem EU AI Act als risikoarm gelten und dennoch eine Datenschutzbewertung erfordern, wenn es Name, E-Mail-Adresse, Reisepläne, Gesundheitsinformationen oder in Freitext eingegebene personenbezogene Daten verarbeitet.

Gerade bei Chatbots ist das schwierig, weil Nutzereingaben unstrukturiert sind. Bei einem Feld mit der Bezeichnung „Name“ oder „Telefon“ lässt sich vorhersehen, was wahrscheinlich eingegeben wird. In einem Chatbot kann ein Nutzer schon in der ersten Nachricht eine Krankheit, das Alter eines Kindes, Passinformationen oder Daten über eine andere Person offenlegen.

Werden diese Daten an einen Modellanbieter eines Dritten gesendet, stellen sich Fragen zu Verantwortlichen, Auftragsverarbeitern und Unterauftragsverarbeitern, internationalen Übermittlungen, Aufbewahrung, Modelltraining, Maskierung, Sicherheit und Hinweisen.

Deshalb verlässt der dritte Artikel dieser Reihe den EU AI Act. Ein Chatbot-Gespräch an einen KI-Anbieter eines Dritten zu senden, ist eigenständig eine Datenschutzfrage.

Eine bessere Checkliste für Unternehmen

Es gibt keinen Grund, die Risikopyramide zu verwerfen. Sie sollte nur nicht das einzige Werkzeug werden.

Wenn ich KI-Systeme eines Unternehmens erstmals bewerte, finde ich diese Reihenfolge hilfreicher:

1. Welche Aufgabe erledigt das System?
2. Wessen Entscheidung, Recht, Zugang oder Sicherheit beeinflusst seine Ausgabe?
3. Was ist die vernünftigerweise zu erwartende Folge einer falschen Ausgabe?
4. Ist das Unternehmen Anbieter, Betreiber, Händler, Importeur oder mehr als eines davon?
5. Ist die Nutzung verboten, hochriskant oder transparenzpflichtig?
6. Welche technischen und vertraglichen Nachweise sollten beim Anbieter des allgemeinen KI-Modells eingeholt werden?
7. Wo werden personenbezogene oder besondere Kategorien von Daten verarbeitet und wohin werden sie übertragen?
8. Trägt menschliche Aufsicht echte Entscheidungsbefugnis?
9. Muss dieses Problem überhaupt mit KI gelöst werden?

Die letzte Frage ist wichtig. In manchen Fällen sind eine klassische Geschäftsregel, ein einfacheres Formular, ein gut gestalteter Freigabeablauf oder eine Lösung innerhalb eines bestehenden SaaS-Produkts günstiger und risikoärmer.

Compliance-Arbeit sollte nicht nur fragen: „Wie machen wir das konform?“ Manchmal lautet die bessere Frage: „Lohnt es sich, das System auf diese Weise zu bauen?“

Von der Pyramide zur Betriebskarte

Risikostufen sind ein guter Weg, den EU AI Act zunächst zu verstehen. Wenn Sie jedoch ein KI-Inventar aufbauen, ein Produkt kaufen oder ein KI-gestütztes System Kunden anbieten, brauchen Sie über der Pyramide eine zweite Karte.

Diese Karte bringt Rollen, Datenflüsse, Entscheidungspunkte, menschliche Aufsicht, Lieferantennachweise und weitere Gesetze in dieselbe Sicht.

Hier erscheinen auch die Geschäftskosten. Die Modellgebühr ist nicht immer der größte Posten. Protokolle zu führen, Daten zu bereinigen, einen Widerspruchsprozess aufzubauen, Mitarbeitende zu schulen, Lieferanten zu prüfen und die Folgen falscher Ausgaben zu überwachen, kann mehr kosten.

Gute KI-Governance ist deshalb nicht bloß eine Compliance-Checkliste. Sie bedeutet zu verstehen, welche Entscheidungen ein Unternehmen an KI überträgt und ob es die Folgen tragen kann.

Nach der Risikostufe muss weiterhin gefragt werden. Die eigentliche Arbeit beginnt danach.