Was ist der EU AI Act – und was regelt er tatsächlich?

Ein Chatbot kann Hotelgästen sagen, wann das Frühstück beginnt. Dieselbe Technologie kann Bewerbungen einordnen oder ein Krankenhaus bei der Priorisierung von Notrufen unterstützen. Die Folgen einer falschen Antwort sind jeweils andere. Der EU AI Act schafft dafür einen gemeinsamen Rechtsrahmen. Seine Rechtsform ist die Verordnung (EU) 2024/1689; sie gilt in der Europäischen Union unmittelbar.

Der EU AI Act lässt sich nicht mit „Europa hat KI verboten“ zusammenfassen und behandelt KI weder als grundsätzlich gut noch als grundsätzlich schlecht. Je schwerer ein System Gesundheit, Sicherheit oder Grundrechte beeinträchtigen kann, desto anspruchsvoller werden die Anforderungen. Einige Anwendungen sind vollständig verboten.

Dieser Artikel erklärt, warum die Verordnung geschaffen wurde, wen sie erfasst, welche Praktiken sie verbietet, was Hochrisiko bedeutet, welche Pflichten für Chatbots und synthetische Inhalte gelten, wann die Regeln greifen und wo ein Unternehmen beginnen sollte.

Warum wurde der EU AI Act eingeführt?

Ein KI-System kann zugleich Produkt, Entscheidungsmechanismus und Teil einer Dienstleistung sein. Ein in einem Land eingesetztes System kann Menschen in einem anderen erreichen. Ein Unternehmen entwickelt ein Modell, ein anderes integriert es in ein Produkt und ein drittes setzt es bei Kunden oder Mitarbeitenden ein.

Bei bloß freiwilligen Grundsätzen entstehen zwei Probleme: Unsicherheit über den Schutz von Menschen – etwa bei Diskriminierung im Recruiting, Nachweispflichten bei Fehlern medizinischer Systeme oder der Frage, ob jemand mit Mensch oder Chatbot spricht – und Fragmentierung für Unternehmen durch unterschiedliche Regeln in EU-Staaten.

Der aktuelle konsolidierte Text der Verordnung soll beides angehen. Er schafft gemeinsame Regeln für den EU-Markt und will Schäden für Gesundheit, Sicherheit, Grundrechte, Demokratie, Rechtsstaatlichkeit und Umwelt begrenzen. Die Förderung von Innovation ist ebenfalls ein erklärtes Ziel.

Das Gleichgewicht zählt: Die Verordnung schützt nicht nur Menschen, sondern soll Unternehmen auch sagen, unter welchen Bedingungen sie solche Systeme entwickeln und nutzen können.

Zählt jede Software als KI-System?

Nein. Eine feste Steuerberechnung, ein Formular mit wenigen vorgegebenen Bedingungen oder eine konventionelle Geschäftsregel wird nicht zum KI-System, nur weil das Marketing sie „smart“ nennt.

Die Verordnung betrachtet maschinenbasierte Systeme mit unterschiedlich hohem Grad an Autonomie. Sie leiten aus Eingaben ab, wie sie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen; manche können sich nach der Bereitstellung anpassen.

Die praktischere Frage lautet: Führt das System nur vorher geschriebene Schritte aus, oder leitet es aus Eingaben ein Ergebnis ab und beeinflusst damit eine Entscheidung oder einen Prozess in der Außenwelt? Was ein Produkt tatsächlich tut, zählt mehr als sein Name. Weder die Bezeichnung eines Lieferanten als „nur Automatisierung“ noch die Erklärung eines Unternehmens, es „nutze KI“, entscheidet die Frage.

Wer trägt Verantwortung?

Der EU AI Act gilt nicht nur für große Technologieunternehmen. Er verteilt Pflichten auf unterschiedliche Beteiligte zwischen Entwicklung, Inverkehrbringen und täglicher Nutzung.

Wer ein System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt, kann Anbieter sein. Ein Unternehmen, das ein bestehendes System unter eigener Verantwortung beruflich nutzt, kann Betreiber sein. Die Verordnung definiert außerdem Importeure, Händler, Produkthersteller und Bevollmächtigte bestimmter Nicht-EU-Anbieter.

Ein Unternehmen kann mehrere Rollen haben: Betreiber eines eingekauften HR-Werkzeugs und Anbieter eines anderen Systems unter eigener Marke. Bei wesentlicher Änderung eines Systems oder Änderung des Verwendungszwecks zu einer Hochrisikonutzung können sich auch seine Pflichten ändern.

Die territoriale Reichweite endet nicht an der Firmenadresse. Grob kann die Verordnung Anbieter erfassen, die ein KI-System oder ein General-Purpose-AI-Modell in der EU in Verkehr bringen, Betreiber in der EU und unter Umständen Anbieter oder Betreiber außerhalb der EU, wenn die Ausgabe des Systems in der Union genutzt wird. „Wir sitzen nicht in der EU, also betrifft es uns nicht“ ist deshalb kein sicherer Schluss. „Jemand in Europa kann unsere Website öffnen, also sind wir sicher erfasst“ ist ebenso vorschnell. Entscheidend sind Angebot, Nutzung der Ausgabe und tatsächliche Rolle in der Kette.

Ausgenommen sind rein persönliche und nichtberufliche Nutzung, ausschließlich wissenschaftliche Forschung und Entwicklung sowie einige Forschung- und Testaktivitäten vor dem Inverkehrbringen. Eine konkrete Reichweitenprüfung lässt sich nicht allein aus Produkt- oder Ländernamen ableiten.

Wie ändern sich die Regeln mit dem Risiko?

Die Europäische Kommission erklärt den Rahmen über vier breite Risikostufen:

Die Karte ist nützlich, doch ein Detail ist entscheidend: Die Verordnung fragt meist, wofür ein System eingesetzt wird, nicht nur nach der Modellmarke. Dasselbe Modell kann geringes Risiko haben, wenn es Hoteleinrichtungen erklärt, und Teil einer Hochrisikonutzung sein, wenn es Bewerber einstuft. Wichtiger als das Vorhandensein von KI ist die Arbeit und Befugnis, die ein Unternehmen ihr gibt.

Welche KI-Praktiken sind verboten?

Bei einigen Nutzungen lautet die Regel nicht „bessere Kontrollen einbauen“, sondern: Wenn die gesetzlichen Voraussetzungen des Verbots erfüllt sind, darf die Praxis nicht genutzt werden. Dazu gehören:

• manipulative oder täuschende Techniken, die Entscheidungsfähigkeit wesentlich verzerren und erheblichen Schaden verursachen oder vernünftigerweise verursachen können,
• Ausnutzung von Schwachstellen wegen Alter, Behinderung oder bestimmter sozialer oder wirtschaftlicher Umstände mit entsprechendem Schaden,
• bestimmte Formen von Social Scoring nach Verhalten oder Eigenschaften,
• Vorhersage des individuellen Risikos einer Straftat allein aus Profilbildung oder Persönlichkeitsmerkmalen,
• ungezieltes Auslesen von Internet- oder CCTV-Bildern zum Aufbau oder zur Erweiterung von Gesichtserkennungsdatenbanken,
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer engen medizinischen oder Sicherheitsausnahmen,
• biometrische Kategorisierung zur Ableitung bestimmter sensibler Merkmale,
• Echtzeit-Fernbiometrie durch Strafverfolgung in öffentlich zugänglichen Räumen, außer den engen, streng kontrollierten Ausnahmen der Verordnung.

Die am 27. Juli 2026 in Kraft getretene Änderung 2026/1744 fügte neue Verbote für realistische intime oder sexuell explizite Inhalte hinzu, die ohne die ausdrückliche Einwilligung der dargestellten Person erzeugt oder manipuliert werden, sowie für Material über sexuellen Kindesmissbrauch. Die Vorschriften gelten ab dem 2. Dezember 2026. Für Anbieter und Betreiber gelten dabei nicht dieselben Voraussetzungen: Entscheidend sind unter anderem, ob ein System für solche Inhalte bestimmt ist, ob dies ein vorhersehbares Ergebnis ist, welche Schutzmaßnahmen bestehen und zu welchem Zweck es eingesetzt wird.

Die Liste darf nicht ohne ihre Bedingungen gelesen werden. Manche Verbote enthalten Prüfungen zu Zweck, Wirkung, Schaden und Ausnahmen. Nicht jede Personalisierung ist Manipulation; nicht jede Nutzung von Biometrie oder Emotionsanalyse hat dieselbe Rechtsfolge. Ist eine Nutzung jedoch tatsächlich verboten, machen ein besserer Vertrag, ein zusätzlicher Freigabeknopf oder mehr Protokollierung sie nicht zulässig. Sie muss geändert oder beendet werden.

Was bedeutet Hochrisiko?

Ein Hochrisikosystem ist nicht automatisch verboten. Es kann entwickelt und eingesetzt werden, unter strengeren Bedingungen, weil es eine Sicherheitsfunktion erfüllt oder eine wichtige Entscheidung im Leben eines Menschen beeinflusst.

Es gibt zwei Hauptwege. Erstens kann KI Sicherheitskomponente eines in der EU separat regulierten Produkts sein – oder dieses Produkt selbst –, wenn das Produkt eine Konformitätsbewertung durch Dritte braucht. Das kann etwa bestimmte Medizinprodukte und Maschinen betreffen. Zweitens erfasst Anhang III sensible Einsätze: Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Zugang zu wesentlichen öffentlichen und privaten Diensten, Strafverfolgung, Migration und Grenzverwaltung, Justiz und demokratische Prozesse.

Systeme, die Bewerber bewerten oder einordnen, Bildungszulassung beeinflussen, bestimmte Kredit- oder Versicherungsentscheidungen unterstützen oder Notrufe und Triage im Gesundheitswesen bewerten, können daher Hochrisiko sein. Der Sektorname reicht nicht: Nachfrageprognose für eine Krankenhauskantine und Diagnoseempfehlung arbeiten zwar in derselben Gesundheitsorganisation, aber nicht an derselben Aufgabe und haben nicht dieselben Folgen. Anhang III enthält zudem enge Ausnahmen für einige verfahrensbezogene, vorbereitende oder sonst begrenzte Funktionen.

Für Hochrisikosysteme erwartet die Verordnung im Wesentlichen:

• Risikomanagement über den gesamten Lebenszyklus,
• Daten-Governance und Qualitätskontrollen,
• technische Dokumentation und automatische Protokollierung,
• ausreichende Information und klare Anweisungen für Betreiber,
• praktisch funktionierende menschliche Aufsicht,
• Genauigkeit, Robustheit und Cybersicherheit,
• erforderliche Konformitätsbewertung, Registrierung und Marktüberwachung,
• Meldung schwerer Vorfälle und Abhilfemaßnahmen.

„Ein Mensch trifft die endgültige Entscheidung“ beweist keine menschliche Aufsicht. Wenn diese Person die Grenzen nicht versteht, die Empfehlung nicht anfechten kann oder praktisch keine Befugnis zur Ablehnung hat, verändert der Freigabeknopf nur den Anschein des Prozesses.

Diese Anforderungen sind kein kleines Dokumentenpaket für die Rechtsabteilung. Sie bestimmen, welche Daten aufzubewahren sind, was Software aufzeichnen muss, welche Befugnis Mitarbeitende brauchen, wie ein Produkt getestet wird und was vom Lieferanten zu verlangen ist. Hochrisiko-Klassifizierung schlägt damit direkt auf Produktkosten und täglichen Betrieb durch.

Was ändert sich bei Chatbots, Deepfakes und synthetischen Inhalten?

Auch Systeme ohne Hochrisiko können Transparenzpflichten treffen. Die Transparenzvorschriften betreffen unterschiedliche Situationen:

• Ein System, das direkt mit Menschen interagiert, muss sie darüber informieren, dass sie mit KI interagieren, sofern das nicht ohnehin offensichtlich ist.
• Anbieter von Systemen, die synthetisches Audio, Bild, Video oder Text erzeugen, müssen die Ausgabe, soweit technisch machbar, maschinenlesbar und als künstlich erzeugt oder manipuliert erkennbar machen.
• Betreiber eines Deepfakes müssen offenlegen, dass der Inhalt künstlich erzeugt oder manipuliert wurde.
• Menschen, die Emotions- oder biometrischer Kategorisierung ausgesetzt sind, müssen informiert werden.
• KI-Text zu Angelegenheiten öffentlichen Interesses, der zur Information der Öffentlichkeit veröffentlicht wird, muss offengelegt werden. Ausgenommen ist Text mit menschlicher Prüfung oder redaktioneller Kontrolle, für den eine Person oder Organisation redaktionelle Verantwortung trägt.

Bei einem Hotel-Website-Chatbot muss dies sichtbar sein: Besucher sollen verstehen können, dass sie mit KI und nicht mit einem Menschen sprechen. Das löst keine Datenschutzfrage. Werden Name, E-Mail-Adresse, Reisepläne oder Gesundheitsinformationen an einen Drittanbieter von Modellen gesendet, entstehen zusätzlich Fragen nach DSGVO und dem türkischen KVKK. Der dritte Artikel dieser Reihe wird den Datenfluss direkt untersuchen.

Macht OpenAI oder Anthropic ein Unternehmen zum Modellanbieter?

In der Regel nicht. Der EU AI Act enthält eigene Regeln für General-Purpose-AI-Modelle, die über viele Aufgaben einsetzbar sind. Die Pflichten eines Unternehmens, das ein solches Modell entwickelt oder in Verkehr bringt, unterscheiden sich von denen eines Unternehmens, das das Modell in einem Chatbot oder einer Geschäftsanwendung nutzt.

Anbieter von General-Purpose-AI-Modellen sollen technische Dokumentation erstellen, nachgelagerten Anbietern nötige Informationen geben, eine Richtlinie zur Einhaltung des EU-Urheberrechts führen und eine ausreichend detaillierte Zusammenfassung der Trainingsinhalte veröffentlichen. Für Modelle mit systemischem Risiko kommen Modellbewertung und adversariales Testen, Bewertung und Minderung systemischer Risiken, Monitoring und Meldung schwerer Vorfälle sowie Cybersicherheit hinzu.

Wer Zugriff auf ein solches Modell kauft und es in einem Chatbot nutzt, wird nicht automatisch Anbieter des General-Purpose-Modells. Es können dennoch eigene Pflichten für das angebotene System, verarbeitete Daten und die daran geknüpften Entscheidungen bestehen. Die Compliance des Modellanbieters macht nicht jedes darauf basierende Produkt automatisch regelkonform.

KI-Kompetenz ist ebenfalls eine Pflicht

Die Verordnung betrifft nicht nur Produktfunktionen und Dokumentation. Anbieter und Betreiber müssen Maßnahmen für ein ausreichendes Niveau an KI-Kompetenz bei Mitarbeitenden und anderen Personen treffen, die Systeme in ihrem Auftrag bedienen.

Das heißt nicht, allen denselben Onlinekurs zuzuweisen und Abschlusszertifikate einzusammeln. Technisches Wissen, Erfahrung, Nutzungskontext und potenziell Betroffene sind zu berücksichtigen. Ein Team, das falsche Antworten eines Hotel-Chatbots überwacht, braucht nicht dieselbe Vorbereitung wie ein HR-Team, das Empfehlungen eines Bewerber-Rankingsystems bewertet. Letzteres benötigt möglicherweise ein tieferes Verständnis von Automatisierungsbias, Diskriminierungsrisiko und den Bedingungen, unter denen Empfehlungen abzulehnen sind.

Der operative Wert folgt daraus: Wenn Menschen die Grenzen eines Systems nicht verstehen, können selbst gute technische Kontrollen im Alltag umgangen werden.

Ersetzt der EU AI Act die DSGVO?

Nein. Die Verordnung ersetzt weder DSGVO, ePrivacy-Regeln, Verbraucher- und Produktsicherheitsrecht, Arbeitsrecht, Antidiskriminierungsrecht noch sektorspezifische Regeln.

Ein Chatbot kann nach dem EU AI Act nicht hochriskant sein und dennoch Datenschutzrecht auslösen, weil er personenbezogene Daten verarbeitet. Gesundheitssoftware kann zugleich Hochrisiko-KI-System und Medizinprodukt sein. Ein Recruiting-System kann zusätzlich nach Arbeits- und Antidiskriminierungsrecht geprüft werden müssen.

„Geringes Risiko“ bedeutet also nicht „rechtlich unbeschränkt und unproblematisch“. Es heißt enger, dass das System möglicherweise bestimmten anspruchsvollen Pflichten des EU AI Act nicht unterliegt. Andere Rechtsprüfungen bleiben bestehen.

Wann gilt die Verordnung?

Der EU AI Act gilt nicht seit einem einzigen Tag vollständig; die Regelungen werden stufenweise eingeführt. Eine Änderung von 2026 verschob zudem Termine für einige Hochrisikopflichten.

„Die Verordnung begann am 2. August 2026“ ist daher unvollständig. Einige Pflichten galten vorher, andere Übergänge laufen weiter. Auch der letzte Termin ist kein sinnvoller Startpunkt für Vorbereitung: Daten, Ereignisprotokolle und menschliche Aufsicht für ein Hochrisikosystem lassen sich nach Abschluss des Produkts möglicherweise nicht rückwirkend schaffen.

Wie hoch sind die Bußgelder?

Bei Verstößen gegen die Verbote kann das Höchstbußgeld 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres erreichen; für Unternehmen gilt der höhere Wert. Für Verstöße gegen bestimmte weitere Betreiberpflichten und Transparenzregeln sind bis zu 15 Millionen Euro oder drei Prozent des weltweiten Umsatzes vorgesehen. Falsche, unvollständige oder irreführende Angaben gegenüber Behörden können bis zu 7,5 Millionen Euro oder ein Prozent kosten. Für Anbieter von General-Purpose-AI-Modellen gilt gesondert eine Obergrenze von 15 Millionen Euro oder drei Prozent.

Für KMU einschließlich Start-ups gilt der niedrigere Wert aus festem Betrag und Prozentobergrenze. Diese Zahlen sind keine automatische Tariftabelle. Behörden berücksichtigen Art, Schwere und Dauer, betroffene Menschen, Schaden, Unternehmensgröße, Abhilfemaßnahmen, Zusammenarbeit und Verschuldensgrad.

Der Durchsetzungsrahmen gibt dem Europäischen Amt für Künstliche Intelligenz eine Rolle bei General-Purpose-Modellen und bestimmten KI-Systemen. Nationale zuständige Behörden überwachen andere Systeme, der Europäische Datenschutzbeauftragte Nutzungen durch EU-Institutionen.

Das Bußgeld ist nicht das gesamte Geschäftsrisiko. Ein Unternehmen kann eine Nutzung einstellen, ein Produkt umgestalten, Markteintritt verzögern, eine Lieferantenprüfung eines Kunden nicht bestehen oder einen Vertrag verlieren. Diese Kosten können früher und greifbarer sein als eine Geldbuße.

Wo sollte ein Unternehmen beginnen?

Senden Sie der Rechtsabteilung nicht zuerst eine Liste von Produktnamen. Zunächst muss sichtbar werden, wo KI im Unternehmen tatsächlich eine Entscheidung oder Handlung erzeugt. Beantworten Sie für jedes System fünf Fragen:

1. Welche Aufgabe erfüllt das System, und welche Ausgabe erzeugt es?
2. Wessen Entscheidung, Recht oder Zugang zu einer Leistung beeinflusst diese Ausgabe?
3. Was bedeutet eine falsche Ausgabe für Gesundheit, Sicherheit, Grundrechte oder das Unternehmen?
4. Entwickelt das Unternehmen das System, bietet es unter eigenem Namen an, kauft und nutzt es oder vertreibt es?
5. Welche Daten gehen hinein, wo wird die Ausgabe verwendet und welche Länder verbindet der Prozess?

Ohne diese Antworten sind „Ist es hochriskant?“ und „Welche Dokumente brauchen wir?“ verfrühte Fragen.

Für Unternehmen liegt die wichtigste Wirkung der Verordnung aus meiner Sicht darin, KI nicht nur als eingekaufte Software zu sehen, sondern als Teil eines Arbeitsablaufs, der Menschen betrifft. Die technische Fähigkeit eines Modells kann gleich bleiben. Ob es Hotelinformationen liefert, Bewerber einordnet oder für Triage im Gesundheitswesen genutzt wird, ist jedoch nicht dieselbe Entscheidung – und die Regeln bleiben ebenfalls nicht gleich.

Der zweite Artikel dieser Reihe, geplant für den 5. September, untersucht, warum die hier verwendete Vier-Stufen-Erklärung für Entscheidungen im Unternehmen nicht ausreicht. Danach behandle ich Chatbot-Gespräche mit Drittanbieter-Modellen unter DSGVO und KVKK, zusätzliche Regeln im Gesundheitswesen und schließlich mögliche Folgen für unterschiedliche Unternehmensstrukturen in der Türkei.

Dieser Artikel enthält allgemeine Informationen und keine Rechtsberatung für ein bestimmtes System oder Unternehmen.