Erzielt Ihr KI-System tatsächlich Geschäftsergebnisse?

💡 Kurzfassung: Kernaussagen

• Modellausgabe, Ausführungspfad, abgeschlossene Arbeit und Geschäftswirkung müssen getrennt gemessen werden. Eine einzige Erfolgsquote verdeckt diese Unterschiede leicht.
• Ein Trace erklärt das Verhalten des Systems; das führende System beweist, was tatsächlich geschah. Eine erfolgreiche Werkzeugantwort beweist keine abgeschlossene Arbeit.
• Der Bewertungsaufwand sollte mit Wirkung und Fehlerkosten wachsen. Definieren Sie Erfolg vor der Modellauswahl, damit bequeme Kennzahlen nicht stillschweigend zum Ziel werden.

Für Camiler.org baute ich ein Inhaltssystem mit Daten von Diyanet, Google Maps und den OpenAI-APIs. Es erzeugte und veröffentlichte Tausende Moscheeseiten. Innerhalb weniger Monate erhielt die Website ungefähr eine Million Google-Impressionen und mehr als 10.000 Klicks pro Monat.

Der Umsatz betrug null.

Als Inhaltspipeline bewertet, funktionierte das System. Nach Suchsichtbarkeit war es ebenfalls erfolgreich. Gemessen an dem beabsichtigten Geschäft – Umsatz – scheiterte es. Den Programmatic-SEO-Versuch habe ich ausführlich beschrieben. Hier ist der Punkt ein anderer: Je nachdem, wo man misst, lässt sich über dasselbe System eine andere Erfolgsgeschichte erzählen.

Bei KI-Systemen geschieht dieser Fehler besonders leicht. Das Modell gibt überzeugende Antworten, Werkzeugaufrufe wirken erfolgreich und die Transaktionszahl steigt. Das Dashboard wird grün. Trotzdem fehlt möglicherweise jede Evidenz dafür, dass die Aufgabe des Kunden abgeschlossen, der Prozess verbessert oder das erwartete Geschäftsergebnis erreicht wurde.

Welcher Datensatz enthält den beanspruchten Erfolg?

Die vier Antworten liegen nicht am selben Ort. Ein Testset zeigt vielleicht, ob ein Modell eine Erstattungsanfrage verstanden hat. Ein Protokoll zeigt den Werkzeugaufruf. Der Zahlungsdatensatz bestätigt die echte Erstattung. Lösungen beim Erstkontakt und Folgeanfragen zeigen, ob das Kundenproblem gelöst wurde. Eine einzige Erfolgsquote kann diese Ebenen leicht zusammenziehen.

Ein Ausführungs-Trace hilft, Fehler zu finden

Manche KI-Systeme suchen Informationen, rufen ein Werkzeug auf, lesen dessen Ergebnis und wählen den nächsten Schritt. Die Aufzeichnung dieses Weges heißt üblicherweise Trace. Sie zeigt, ob das Modell die falsche Quelle nutzte, ein Werkzeug unnötig erneut aufrief, menschliche Freigabe umging oder nach einem Verbindungsfehler falsch fortfuhr.

Der Trace ist nicht das Ergebnis. Anthropics Leitfaden zur Bewertung von KI-Agenten illustriert das mit einer Flugbuchung: Statt die Aussage des Systems zu akzeptieren, prüft die Bewertung, ob die Reservierung in der Datenbank existiert. Der Pfad erklärt einen Fehler; das Transaktionssystem beweist den Endzustand.

Eine E-Mail-Funktion kann fehlerfrei laufen und die Nachricht trotzdem an den falschen Empfänger schicken. Auch eine korrekte Zustellung beweist noch nicht, dass sich die Vertriebschance weiterbewegt hat.

Prüfen Sie die Transaktion dort, wo die Änderung lebt

Ein Supportsystem kann das richtige Erstattungswerkzeug wählen, alle Felder korrekt ausfüllen und eine Erfolgsmeldung erhalten. Die Zahlung kann dennoch ausstehen, später abgelehnt werden oder nach einem Wiederholungsversuch doppelt erfolgen. Nicht die Modellantwort, sondern der aktuelle Zahlungsdatensatz ist zu prüfen. Dasselbe gilt für ein Identitätssystem bei Mitarbeiterzugriff, ein ERP bei Bestellung und ein Versand- oder Bestellsystem bei einer Lieferung.

Im Beitrag über die Befugnis eines KI-Systems trenne ich den Vorschlag einer Aktion von der Befugnis, sie auszuführen. Hier kommt eine weitere Trennung hinzu: Aktion auszuführen und ihr Ergebnis zu verifizieren sind ebenfalls verschiedene Verantwortungen. Ist ein Ergebnis noch nicht bekannt, ist „ausstehend“ oder „Ergebnis unbekannt“ korrekter als eine verfrühte Erfolgsmeldung.

Abgeschlossene Aufgabe und Geschäftsergebnis sind unterschiedliche Größen

Eine bestätigte Erstattung ist ein reales Ergebnis. Sie erklärt dennoch nicht, warum das Unternehmen seinen Support geändert hat. War das Ziel, mehr Probleme beim ersten Kontakt zu lösen, zählen Folgeanfragen und Lösungsquoten. Sollte Kapazität steigen, reicht Antwortzeit nicht; es muss Arbeit bei gleicher Qualität gelöst werden. Bei Kundenabwanderung braucht die Beobachtung mehr Zeit.

In Generative AI at Work, 2025 im Quarterly Journal of Economics veröffentlicht, untersuchten Forschende Daten von 5.172 Supportmitarbeitenden. Mit KI-Unterstützung stieg die Zahl gelöster Kundenprobleme pro Stunde durchschnittlich um 15 %. Die Gewinne waren bei weniger erfahrenen Mitarbeitenden größer, während die erfahrensten bei einigen Qualitätsmaßen kleine Rückgänge zeigten. Die Studie betrachtet gelöste Anliegen, Gesprächsdauer, Lösungsraten und Kundenerlebnis, begrenzt ihr Ergebnis aber auf ein Unternehmen und ein bestimmtes Supportsystem. Die 15 % sind keine erwartete Rendite für jede KI-Initiative.

Die Lehre ist nicht die Zahl, sondern dass Messung von der Systemausgabe bis zum Grund reichen muss, aus dem die Arbeit existiert.

Nicht jeder Anwendungsfall braucht ein schweres Bewertungssystem

Ein interner Wissensassistent, der Mitarbeitenden nur Antworten mit Quellen gibt, benötigt anfangs vielleicht keine Hunderte Kennzahlen. Einige reale Fragen, Prüfungen auf die richtige Quelle, regelmäßige menschliche Überprüfung und von Nutzern gemeldete Fehler können eine sinnvolle Grundlage bilden.

Ein System, das Geld bewegt, Zugriffe erteilt oder im Namen eines Kunden Verpflichtungen eingeht, braucht mehr: Ausgabequalität, Autorisierung, echtes Transaktionsergebnis, Wiederholungen und Wiederherstellung nach Fehlern. Für Aussagen über Geschäftswirkung gilt ein noch anderer Standard. Verbessert sich ein KPI, kann die KI nicht sofort die Ursache sein; Saison, Teamwechsel, anderes Release oder die Weiterleitung leichter Fälle können den Wert verändert haben. Mindestens nötig sind Ausgangszustand, geeigneter Vergleich und ausreichend Zeit.

Der Aufwand sollte mit Wirkung und Fehlerkosten wachsen. Eine kleine, echte Evidenzbasis kann für einen einfachen Fall reichen; dieselbe Einfachheit wird bei einem hochwirksamen System zum blinden Fleck.

Erfolg vor der Modellauswahl definieren

Werden Erfolgskriterien erst nach dem Bau eines KI-Systems gewählt, werden die verfügbaren Zahlen schnell zum Ziel: generierte Antworten, erfolgreiche Werkzeugaufrufe, Akzeptanzrate oder verbrauchte Tokens.

Beenden Sie vor der Wahl von Modell oder Bewertungsplattform vier Sätze:

1. Welche Antwort, Empfehlung oder Klassifikation muss das System korrekt erzeugen?
2. Welches Ergebnis muss tatsächlich in einem externen System oder in der Aufgabe des Nutzers erscheinen?
3. Welche Geschäftskennzahl soll dieses Ergebnis in welchem Zeitraum verändern?
4. Welcher Fehler, welche Verletzung der Autorisierung oder welche Kostensteigerung würde die Erfolgsaussage ungültig machen?

Die Antworten unterscheiden sich von Unternehmen zu Unternehmen. Genau deshalb verbinden sie Modellvergleich mit der tatsächlichen Geschäftsentscheidung.

Es ist leicht zu messen, wie intelligent ein System wirkt. Schwieriger ist zu zeigen, was es wirklich abgeschlossen hat und was sich dadurch im Unternehmen verändert hat.

Warum diese Unterscheidung vor der Modellauswahl nötig ist, erkläre ich im ersten Beitrag der Reihe.

Die weiteren Entscheidungen zu Modellen, Informationen, Befugnis und Bewertung finden Sie im Leitfaden zum Entwurf eines KI-Systems für Ihr Unternehmen.