Warum wir KI-Urteilen vertrauen und was das nicht beweist

Stellen Sie sich die Ansicht eines Bewerbermanagementsystems vor. Das System reiht fünf Bewerberinnen und Bewerber, nennt zu jeder Empfehlung eine kurze Begründung und zeigt einen Eignungsscore an. Eine Führungskraft gibt die Vorschläge einzeln frei. Im Protokoll sieht es so aus, als habe ein Mensch jede Entscheidung getroffen.

Vielleicht hat die Führungskraft tatsächlich unabhängig geprüft. Vielleicht hat sie die Rangfolge der Maschine nur rasch bestätigt. Der Freigabeklick sagt nicht, welcher dieser beiden Fälle vorliegt.

Unternehmen beobachten KI-gestützte Entscheidungen häufig anhand zweier schwacher Signale: Vertrauen die Nutzerinnen und Nutzer dem System, und wie oft nehmen sie seine Empfehlungen an? Beide Kennzahlen können nützlich sein. Für sich allein erklären sie jedoch keine Entscheidungsqualität. Eine richtige Empfehlung kann abgelehnt, eine falsche angenommen werden. Ein Mensch kann am Prozess beteiligt sein, ohne eine echte Prüfung vorzunehmen.

Ein gut gestalteter Entscheidungsprozess ist nicht darauf ausgelegt, möglichst viel Vertrauen in KI aufzubauen. Er soll dafür sorgen, dass richtige Empfehlungen angenommen, falsche abgelehnt und die Grundlagen der endgültigen Entscheidung nachvollziehbar bleiben.

Die vermutete Quelle beeinflusst das Urteil

Für die in PLOS ONE veröffentlichte Studie A moral Turing test ließen Forschende von Google DeepMind Versuchspersonen einschätzen, ob eine Begründung von einem Menschen oder einem Sprachmodell stammte. Die Versuchspersonen erkannten die Quelle häufiger als durch bloßes Raten, lagen aber dennoch oft falsch. Auch die Zustimmung zu einem Urteil konnte davon abhängen, wem die Versuchspersonen den Text zuschrieben.

Hier laufen zwei Dinge auseinander. Wer den Text tatsächlich erzeugt hat, ist eine Tatsache. Wem Leserinnen und Leser ihn zuschreiben, ist eine Wahrnehmung. Derselbe Text kann anders bewertet werden, je nachdem, ob er als menschlich oder KI-generiert gilt.

Die Studie untersuchte Begründungen zu moralischen und nichtmoralischen Urteilen in kontrollierten Experimenten und nutzte Antworten einer älteren Modellfamilie. Ihre Ergebnisse lassen sich nicht direkt auf Personal-, Kredit- oder Anlageentscheidungen übertragen. Für die Unternehmenspraxis zeigt sie dennoch eine wichtige Trennung: Vertrauen in die Quelle misst nicht die Qualität des Ergebnisses.

Sowohl Vorschussvertrauen als auch grundsätzliche Ablehnung können die Bewertung verzerren. Unsere Annahme über die Quelle beeinflusst, wie wir den Text selbst gewichten. Deshalb braucht es eine weitere Unterscheidung: Einer Empfehlung zu vertrauen, sie zu berücksichtigen und mit ihrer Hilfe richtig zu entscheiden sind nicht dasselbe.

Vertrauen, Präferenz und Entscheidungsqualität sind nicht dasselbe

Die Frage „Vertrauen Sie KI?“ behandelt Vertrauen wie eine einzige Haltung. In einem Entscheidungsprozess spielen mindestens fünf getrennte Verhaltensweisen eine Rolle:

1. Die Nutzerin oder der Nutzer kann die Quelle für glaubwürdig halten.
2. Sie oder er kann eine KI-Empfehlung einer menschlichen Empfehlung vorziehen.
3. Die Person kann die Empfehlung lesen und in ihre Entscheidung einbeziehen.
4. Eine richtige Empfehlung kann angenommen und eine falsche abgelehnt werden.
5. Am Ende kann die richtige Entscheidung stehen.

Diese Schritte fallen nicht automatisch zusammen. Experimente zum Vergleich menschlicher und KI-gestützter Empfehlungen zeigen, dass die angegebene Quelle beeinflussen kann, ob Menschen eine Empfehlung überhaupt ansehen. Wie stark sie diese anschließend nutzen, kann von der Aufgabe und ihren vorherigen Überzeugungen abhängen.

An den Experimenten nahmen überwiegend online rekrutierte Personen teil; Fachleute waren nur in kleiner Zahl vertreten. Die Ergebnisse erklären deshalb weder institutionelle Verantwortung noch langfristige Geschäftsergebnisse.

Zeigt die Erfolgsauswertung eines Empfehlungssystems nur Nutzung und Annahmequote, bleibt die entscheidende Qualitätsfrage unsichtbar. Wie häufig erkennen Menschen eine falsche Empfehlung? Warum lehnen sie eine richtige ab? Welche Aufzeichnung zeigt später, wie das endgültige Ergebnis zustande kam?

Ein Quellenverzeichnis ist noch kein Beleg

Ein langes Quellenverzeichnis am Ende eines KI-generierten Textes macht diesen nicht verlässlich. Für jede Quelle muss geprüft werden, ob sie die konkrete Aussage tatsächlich trägt. Manchmal enthält die zitierte Stelle die Behauptung gar nicht. Manchmal wird ein eng begrenzter Befund so dargestellt, als sei er die Hauptaussage der Studie.

Die Zahl der Quellen ist kein Beleg. Für jeden Link zählt die Frage: Stützt diese Quelle wirklich diesen Satz? Ohne diese Prüfung kann ein Quellenverzeichnis Scheinsicherheit erzeugen, statt eine Aussage zu verifizieren.

Kennzeichnung und Konfidenzwerte sind keine Beweise

Der Hinweis auf KI-Nutzung oder ein angezeigter Konfidenzwert beweist nicht, dass ein Ergebnis richtig ist. Solche Signale können Präferenzen beeinflussen. Eine erste Präferenz sagt aber noch nichts über die Qualität einer realen Geschäftsentscheidung aus. Ein Konfidenzwert bleibt eine scheinbar präzise Zahl, solange er im tatsächlichen Einsatz nicht gegen die tatsächliche Genauigkeit geprüft wurde.

Eine KI-Empfehlung kann überzeugend wirken, weil ihre Herkunft offengelegt wurde, ihr Konfidenzwert hoch ist oder ein Mensch sie freigegeben hat. Keines dieser Signale belegt für sich allein eine gute Entscheidung. Entscheidend ist eine einfachere Frage: Macht der Prozess sichtbar, wann eine richtige Empfehlung angenommen und wann eine falsche abgelehnt wird? Ist das nicht möglich, wird Vertrauen nicht gemessen. Es wird nur Verhalten gezählt.