Warum dasselbe KI-Modell in Anwendungen unterschiedliche Ergebnisse liefert

💡 Kurz gesagt:

• Ein Modellname beschreibt nicht die vollständige Arbeitsfähigkeit eines KI-Produkts. Kontext, Werkzeuge, Berechtigungen und Arbeitsablauf prägen das Ergebnis mit.
• Dasselbe Modell kann in verschiedenen Anwendungen unterschiedliche Aufgaben erledigen. Es kann in einem Produkt Text erzeugen und in einem anderen mit Quellen und Software eine Aufgabe abschließen.
• Testen Sie Produkte an Ihrer eigenen Arbeit. Abgeschlossene Arbeit, Korrekturen, Kosten, Fehlerverhalten und Befugnisgrenzen gehören gemeinsam in die Bewertung.

Stellen Sie sich vor, ein Vertriebsteam bittet zwei KI-Produkte, dasselbe Kundenangebot vorzubereiten. Das erste macht aus Gesprächsnotizen sprachlich ausgefeilten Text. Das zweite prüft aktuelle Preise und die Kundenhistorie, erkennt, dass der Rabatt Freigabe verlangt, und hängt den Entwurf an den richtigen CRM-Datensatz. Das Team könnte annehmen, das zweite nutze das fähigere Modell. Beide könnten dasselbe nutzen.

Der Unterschied kann aus Kontext, Werkzeugen, Handlungsbefugnis und der Art der Prüfung entstehen. Ich habe bereits argumentiert, dass Unternehmen mit dem Geschäftsproblem statt mit einem KI-Modell beginnen sollten. Sind gewünschtes Ergebnis und Abnahmekriterien klar, ist ein Modellvergleich sinnvoll. Doch auch dann ist das Modell nicht das Einzige, was bewertet wird.

Modell, Anwendung und Harness sind nicht dasselbe

Ein KI-Produkt lässt sich als vier Schichten betrachten:

Der Harness ist die Betriebsschicht um das Modell. Er bestimmt, welche Informationen das Modell sehen darf, welche Werkzeuge es aufrufen darf, was nach einem Fehler geschieht und wann menschliche Freigabe nötig ist. Diese Grenzen liegen nicht in jedem Produkt an derselben Stelle. Die Unterscheidung hilft, die Entscheidung zu finden, die den Ergebnisunterschied erzeugt hat.

Das Modell nicht mit dem ganzen Produkt verwechseln

Dasselbe Modell kann in einem leeren Chatfenster, einer Rechercheanwendung und einem an Software-Werkzeuge angeschlossenen Agentensystem unterschiedliche Arbeit leisten. Eine Anwendung nutzt nur vom Nutzer gelieferten Text. Eine andere durchsucht aktuelle Quellen, bewahrt Zustand über Schritte, legt Datensätze an und verlangt bei Bedarf Freigabe.

Produktentwicklungsleitfäden behandeln Kontext, Werkzeugnutzung, Freigaben, Fehlerwiederherstellung und Gedächtnis ebenfalls als Teile des Systems um das Modell. Rohfähigkeit eines Modells und die Arbeit, die ein Produkt leisten kann, sind nicht dasselbe.

Ein Modellname ist daher nützlich, aber unvollständig. Auf welche aktuelle und unternehmensspezifische Information kann es zugreifen? Welche Handlungen darf es ausführen? Erzwingt Software Berechtigungen? Stoppt es nach Fehlern? Wer prüft das Ergebnis und gegen welchen Datensatz?

Welche Informationen, Regeln, Werkzeuge und Messung ein KI-System unternehmensspezifisch machen, erläutere ich separat.

Modellnamen altern, Evaluierungsfragen bleiben

Ein Modellupdate kann Werkzeugnutzung, Anweisungsbefolgung, Kosten und Fehlerverhalten verändern. Ein Vergleich sollte deshalb neben dem Modellnamen Version, Datum und Betriebskonfiguration dokumentieren.

Ein stärkeres Modell kann ein fehlendes System nicht ersetzen

Ein fähigeres Modell kann komplexe Dokumente besser verstehen, mit weniger Anleitung das richtige Werkzeug wählen oder gleiche Qualität günstiger liefern. Die Modellwahl zählt weiter.

Ein stärkeres Modell kann aber kein Produkt reparieren, dem aktuelle Daten, softwareerzwungene Berechtigungen und eine Prüfung abgeschlossener Arbeit im führenden System fehlen. Eine gut gestaltete Anwendung kann umgekehrt einem ungeeigneten Modell keine unbegrenzte Fähigkeit geben. Sind die Schritte schon bekannt, kann ein fester Arbeitsablauf verlässlicher und wirtschaftlicher als ein Agent sein.

Bei der Bewertung eines KI-Produkts sollten Sie daher über seinen Modellnamen hinausgehen. Welcher Kontext, welche Werkzeuge, Berechtigungen und Betriebsstruktur erlauben ihm, Ihre Arbeit abzuschließen? Mit welchen Ergebnissen haben Sie diese Fähigkeit überprüft?

Die tatsächliche Fähigkeit eines Produkts erscheint nicht im Namen des Modells, sondern im Ergebnis, das das gesamte System in Ihrer Arbeit wiederholt erzeugen kann.

Weiterführende Literatur

• Codex as a platform: Erläutert, wie Codex Kontext, Werkzeugnutzung, Freigaben und Fehlerwiederherstellung als Bestandteile seines Harness behandelt. Der Beitrag vertieft die technische Unterscheidung zwischen Modellfähigkeit und Produktfähigkeit.
• Building effective agents: Erörtert, wie Agentensysteme ein Modell durch Informationszugang, Werkzeuge und Gedächtnis erweitern. Der Text spiegelt den Produktansatz des Anbieters und sollte nicht als universelle Architekturregel gelesen werden.