So gestalten Sie ein KI-System für Ihr Unternehmen

Wie gelangt das System an die richtigen Informationen?

Für einen Antwortentwurf auf eine Erstattungsanfrage reicht die Nachricht allein nicht aus. Die Rückgabebedingungen, der aktuelle Bestellstatus und eine individuelle Vereinbarung können die Antwort beeinflussen. Klären Sie für jede Information, aus welcher Quelle sie stammt und wie aktuell sie sein muss.

Rückgabebedingungen zu erklären und zu prüfen, ob eine konkrete Bestellung sie erfüllt, erfordert unterschiedliche Informationen. Für die erste Aufgabe kann der Text der Bedingungen genügen. Für die zweite können auch das Zustelldatum, Produktangaben und individuelle Vereinbarungen nötig sein. Ein korrektes Dokument bedeutet noch nicht, dass diese Datensätze vorhanden und aktuell sind.

Beurteilen Sie die Datenbasis deshalb anhand einer konkreten Entscheidung: Was fehlt, welche Antwort oder Handlung wird dadurch beeinträchtigt, und wer hält die Informationen aktuell? In manchen Fällen ist es sinnvoll, die Quelle zu verbessern; in anderen, den Umfang der ersten Version einzugrenzen.

Weiterführender Artikel

Weiterführender Artikel

Ist Ihre Datenbasis bereit für KI? Beginnen Sie mit der Entscheidung

In einem eigenen Artikel untersuche ich, wie die jeweilige Entscheidung bestimmt, ob die Daten ausreichen. Die Beispiele können Ihnen helfen, die wichtigsten Lücken zuerst anzugehen.

Öffnet in einem neuen Tab

Dieselbe hypothetische Erstattungsanfrage, drei Informationsbedürfnisse

Unter welchen Bedingungen kann das Produkt zurückgegeben werden?

Die geltenden RückgabebedingungenIst die Regel kurz und das zugehörige Dokument bekannt, kann es genügen, dem Modell den aktuellen Text zusammen mit der Frage zu geben. Eine zusätzliche Dokumentensuche ist dann möglicherweise unnötig.

Wann wurde die Bestellung zugestellt?

Der aktuelle Eintrag im BestellsystemRufen Sie die Lieferdaten über eine autorisierte Systemabfrage ab, statt eine alte Dokumentkopie zu verwenden. Eine API- oder Datenbankanbindung kann den aktuellen Eintrag bereitstellen.

Gelten für diesen Kunden besondere Konditionen?

Der Kundendatensatz und der zugehörige VertragUm die richtige Passage in vielen Verträgen zu finden, kann eine Suche nötig sein. Prüfen Sie die Zuordnung zum Kunden und die Zugriffsrechte, bevor die Informationen an das Modell gelangen.

Bei RAG werden vor der Antwort relevante Quellen durchsucht und die passenden Passagen in den Kontext des Modells aufgenommen. Das kann helfen, die richtige Stelle in einer großen Dokumentensammlung zu finden. Einen aktuellen Bestelleintrag abzurufen, ist eine andere Aufgabe.

Fehlen notwendige Angaben oder lässt sich ihre Aktualität nicht bestätigen, sollte vorgesehen sein, dass das System fehlende Angaben anfordern oder die Aufgabe an den Kundenservice übergeben kann. Legen Sie im Voraus fest, wie es in solchen Fällen vorgehen soll.

Weiterführender Artikel

Diese Wege zum Informationszugriff vergleiche ich in einem eigenen Artikel

Wann braucht Unternehmens-KI tatsächlich RAG?

Anhand eines Wartungshandbuchs, einer aktuellen Bestellung und eines Kundenvertrags untersuche ich, wann ein Dokument direkt bereitgestellt, ein System abgefragt oder RAG eingesetzt werden sollte. Im Artikel erläutere ich genauer, wann eine Suche sinnvoll ist und an welcher Stelle Zugriffsrechte durchgesetzt werden müssen.

Öffnet in einem neuen Tab

Dem Modell die aktuellen Rückgabebedingungen bereitzustellen, ist kein erneutes Training. Ändern sich die Bedingungen, aktualisieren Sie die Quelle. Macht das Modell trotz korrekter Informationen und klarer Anweisungen wiederholt denselben Fehler bei der Klassifizierung oder Informationsextraktion, kann eine Anpassung anhand von Beispielen für diese eng begrenzte Aufgabe sinnvoll sein. Klären Sie zuerst, ob Informationen fehlen oder das Modellverhalten die Ursache ist.

Woran erkennen Sie, dass es funktioniert?

Ein System kann eine richtige Antwort formulieren, das richtige Werkzeug aufrufen und die Aufgabe des Kunden trotzdem nicht abschließen. Suchen Sie im Rückgabebeispiel nach Antworten auf vier getrennte Fragen. Die Antwort auf jede Frage steht in einem anderen Datensatz.

Was hat das Modell erzeugt?

Hat es die Anfrage richtig verstanden? Sind der vorgeschlagene Betrag und die Antwort angemessen? Prüfen Sie dies anhand von Beispielen, die reale Anfragen abbilden, und klaren Bewertungskriterien.

Welchen Weg hat das System genommen?

Welchen Datensatz hat es verwendet, hat es eine Freigabe eingeholt, hat es einen Schritt wiederholt? Das Ausführungsprotokoll hilft Ihnen, den Schritt zu finden, in dem ein Fehler aufgetreten ist.

Wurde die Aufgabe tatsächlich abgeschlossen?

Welchen Status hat die Rückerstattung im Zahlungssystem? Prüfen Sie das Ergebnis anhand des Datensatzes, der die Transaktion enthält; behandeln Sie ein ausstehendes oder unbekanntes Ergebnis nicht als abgeschlossen.

Was hat sich im Unternehmen verändert?

Mussten Kunden seltener erneut Kontakt aufnehmen? Hat sich der Korrekturaufwand der Mitarbeitenden verändert? Vergleichen Sie das angestrebte Geschäftsergebnis mit dem Ausgangszustand und einer passenden Vergleichsgrundlage.

Halten Sie vor Beginn des Piloten fest, welches Ergebnis, welche Fehlerarten und welchen Zeitraum Sie beobachten werden. Beschränken Sie die Beispiele nicht auf einfache Anfragen; beziehen Sie auch unvollständige Informationen, Ausnahmen und fehlgeschlagene Transaktionen ein. Wenn sich ein Indikator verbessert, prüfen Sie auch andere Veränderungen, etwa beim Team, im Zeitraum oder in der Verteilung der eingehenden Arbeit.

Der Umfang der Kontrolle sollte mit der Wirkung des Systems wachsen. Ein Hilfsmittel, das für Mitarbeitende einen Entwurf vorbereitet, erfordert nicht dieselben Belege wie ein System, das Geld bewegt. Testen Sie spätere Änderungen am Modell, an der Informationsquelle oder am Arbeitsablauf anhand dieser Beispiele erneut.

Weiterführender Artikel

In diesem Artikel behandle ich den Unterschied zwischen einer guten Antwort und einem Geschäftsergebnis

Erzielt Ihr KI-System tatsächlich Geschäftsergebnisse?

Ausgehend von meiner Erfahrung bei Camiler.org trenne ich Modellausgabe, Ausführungsprotokoll, abgeschlossene Aufgabe und Geschäftswirkung. Das kann Ihnen helfen, für Ihren Piloten festzulegen, was als Erfolg gilt und welche Nachweise das belegen.

Öffnet in einem neuen Tab

Welchen Unterschied würde ein zweites Modell machen?

Sobald Aufgabe, Informationen, Befugnisse und Erfolgskriterien klar sind, können Sie Modelloptionen an derselben Aufgabe vergleichen. Ein allgemeines Modell kann ausreichen, um eine Nachricht zu verstehen und eine Antwort vorzubereiten. Informationssuche, Geschäftsregeln und die Zahlungsabwicklung bleiben in anderen Teilen des Systems.

Geben Sie dem zweiten Modell eine konkrete Aufgabe, etwa häufige Anfragen zu klassifizieren. Verbessert es bei realen Beispielen Qualität, Geschwindigkeit oder Kosten? Ein spezialisiertes Modell kann für eine eng umrissene Aufgabe nützlich sein, doch ihr Nutzen muss die zusätzliche Integration, Tests und Wartung rechtfertigen.

Betrachten Sie beim Preisvergleich nicht nur den Modellaufruf. Betrachten Sie die Kosten für Modell, Kontrollen, Fehlerkorrektur und Betrieb zusammen und setzen Sie sie ins Verhältnis zur Zahl nutzbarer Ergebnisse. Prüfen Sie vorab, ob ein Modell, das Sie zur Absicherung gegen Ausfälle hinzufügen, dieselbe Aufgabe auch mit akzeptabler Qualität erfüllen kann.

Weiterführender Artikel

In diesem Artikel untersuche ich die Grenzen eines einzelnen Modells

Wann reicht ein KI-Modell?

Ich behandle, bei welchen Aufgaben ein allgemeines Modell ein sinnvoller Ausgangspunkt ist und wie ein spezialisiertes Modell seinen Platz rechtfertigen kann. Sie können den Nutzen eines zweiten Modells zusammen mit dem zusätzlichen Betriebsaufwand bewerten.

Öffnet in einem neuen Tab

Wie leiten Sie eine Anfrage weiter, wenn mehrere Modelle verfügbar sind?

Ein zweites Modell zu benötigen bedeutet nicht, dass Sie für jede Anfrage ein Vorhersagesystem bauen müssen, das ein Modell auswählt. Wenn Dokumenttyp, eine explizite Geschäftsregel oder eine Datenrichtlinie die Wahl bereits bestimmen, wenden Sie diese Vorgaben zuerst an. Die folgenden Wege lösen unterschiedliche Probleme.

Feste Regel

Die Wahl steht vor dem Aufruf fest. Ein gescanntes Dokument geht beispielsweise an ein Modell, das Bilder verarbeiten kann. Die Software setzt die Regel und ihre Ausnahmen um.

Vorhersagebasiertes Routing

Der Router sagt voraus, welches Modell zur Anfrage passt. Eine schwierige Anfrage an ein ungeeignetes Modell zu senden, ist eine eigene Fehlerart; deshalb müssen Sie auch Routing-Entscheidungen messen.

Gestufte Weiterleitung

Die Eignung der ersten Antwort wird geprüft; falls nötig, wird ein anderes Modell herangezogen. Der zweite Aufruf und die Bewertung erhöhen Kosten und Wartezeit.

Ausweichpfad

Bei einem technischen Fehler oder Ausfall übernimmt eine vorab getestete Alternative. Dass das erste Modell antwortet, aber eine falsche Antwort gibt, löst diesen Pfad nicht automatisch aus.

Wenn Sie einen vorhersagebasierten Router erproben, führen Sie dieselben Anfragen auch mit einem einzelnen Modell und mit einfachen Regeln aus. Vergleichen Sie nicht nur den Preis pro Aufruf, sondern auch Fehlleitungen, die gesamte Latenz und die Kosten pro nutzbarem Ergebnis. Eine zusätzliche Entscheidungsschicht ist nur gerechtfertigt, wenn dieser Vergleich einen spürbaren Unterschied zeigt.

Weiterführender Artikel

In einem eigenen Artikel vergleiche ich Routing-Optionen

Wie sollten Anfragen auf mehrere KI-Modelle verteilt werden?

An Beispielen zeige ich die Unterschiede zwischen festen Regeln, vorhersagebasierter Auswahl, gestufter Weiterleitung und Ausweichpfaden. Sie können genauer prüfen, welche Vergleiche vor dem Hinzufügen eines Routers nötig sind.

Öffnet in einem neuen Tab

Was macht das System für Ihr Unternehmen spezifisch?

Dasselbe Modell kann in einem Unternehmen die Rückgaberichtlinie erläutern. In einem anderen kann es die Bestellung finden, kundenspezifische Bedingungen prüfen und einen Transaktionsvorschlag erstellen, der zur Freigabe bereit ist. Der Unterschied liegt neben den Anweisungen für das Modell in den Quellen, mit denen es verbunden ist, den angewandten Regeln und den ihm eingeräumten Befugnissen.

Lassen Sie den aktuellen Bestelldatensatz im Bestellsystem, klare Rückgaberegeln in der Software und verwalten Sie Zugriffs- sowie Transaktionsbefugnisse über die jeweiligen Kontrollen. Das Modell kann diese Teile nutzen; es übernimmt nicht die Verantwortung dafür. Muss es ein unternehmensspezifisches Muster lernen, bewerten Sie das getrennt anhand realer Beispiele.

Wenn sich das Modell ändert, sollten Sie das Ergebnis mit denselben Quellen, Transaktionsgrenzen und Bewertungsbeispielen erneut prüfen können. Wer die Quelle aktualisiert, über eine Ausnahme entscheidet und eine fehlgeschlagene Transaktion nachverfolgt, gehört ebenfalls zum Design. So geht Betriebswissen nicht in einem einzelnen Prompt verloren.

Weiterführender Artikel

Im letzten Artikel behandle ich, wie diese Teile zusammenkommen

Was macht ein KI-System für Ihr Unternehmen spezifisch?

Anhand eines Beschaffungsbeispiels untersuche ich, wo Informationen, Regeln, Werkzeuge, Befugnisse und Messung angesiedelt sein sollten. Sie können unterscheiden, was das Modell für Ihren spezifischen Bedarf lernen muss und was das umgebende System bereitstellen sollte.

Öffnet in einem neuen Tab

Fassen Sie die erste Version in einer kurzen Entscheidungsnotiz zusammen

Am Ende des Leitfadens sollten Sie statt einer Modellliste einen klar abgegrenzten Umfang haben, den Sie mit dem Entwicklungsteam besprechen können. Das folgende Beispiel beschreibt nur die erste Version des von uns verwendeten hypothetischen Rückgabeprozesses, die Entwürfe vorbereitet; es ist keine Zusage zu Ergebnissen oder Leistungsfähigkeit.

Die Arbeit, die wir verändern wollen

Die Zeit verringern, die die Mitarbeitenden bei der Vorbereitung einer Antwort auf eine Rückgabeanfrage für die Informationssuche aufwenden, und zugleich Antwortgenauigkeit und Korrekturaufwand beobachten.

Die Grenze der ersten Version

Die Anfrage verstehen und mit ihren Quellen einen Antwortentwurf vorbereiten. Das Versenden an den Kunden und die Rückerstattung bleiben im bestehenden Prozess der zuständigen Mitarbeiterin oder des zuständigen Mitarbeiters.

Informationen und Zugriff

Die aktuelle Richtlinie, die autorisierte Bestellabfrage und bei Bedarf kundenspezifische Bedingungen. Unvollständige oder widersprüchliche Informationen werden den Mitarbeitenden klar angezeigt.

Arbeitsweise

Ein vorab festgelegter Arbeitsablauf und ein Modell, das an realen Beispielen getestet wird. Für einen KI-Agenten, Fine-Tuning oder ein zweites Modell muss zunächst ein konkreter Mangel belegt werden.

Erfolgs- und Abbruchkriterien

Vor dem Piloten werden Zeit und Qualität erfasst; Testbeispiele, Akzeptanzgrenzen und Bewertungszeitraum legt das Team fest. Unbefugter Datenzugriff oder steigender Korrekturaufwand verhindern die Ausweitung.

Verantwortung und Wartung

Benennen Sie die Person, die die Richtlinienquelle aktualisiert, die Mitarbeitenden, die Ausnahmen behandeln, und die technisch verantwortliche Person, die Integrationsfehler nachverfolgt. Testen Sie nach Änderungen dieselben Beispiele erneut.

Wenn ein Punkt in Ihrer eigenen Notiz noch keine klare Antwort hat, kehren Sie zum passenden Abschnitt zurück. Sie können den ersten Piloten eng genug halten, um diese Unsicherheit zu verringern. Ich werde diesen Leitfaden mit Fragen aus neuen Artikeln und der Praxis weiterentwickeln.