Ist Ihre Datenbasis bereit für KI? Beginnen Sie mit der Entscheidung

💡 Kernaussagen

• „Sind unsere Unternehmensdaten bereit für KI?“ ist für sich genommen zu breit. Datenreife ist keine Gesamtnote für das Unternehmen. Entscheidend ist, ob die Informationen und Nachweise ausreichen, die eine konkrete Entscheidung erfordert.
• Relevante Daten sind nicht auf Tabellen für das Modelltraining beschränkt. Dokumente, aktuelle Transaktionsdaten, Geschäftsregeln, Beispiele, Berechtigungen und Ergebnisnachweise sind unterschiedliche Grundlagen derselben Entscheidung.
• Eine Lücke rechtfertigt nicht automatisch ein großes Datenplattformprogramm. Die bessere Antwort kann darin liegen, den Umfang zu begrenzen, eine bestimmte Quelle vorzubereiten, menschliches Urteil beizubehalten, ein folgenloses Experiment durchzuführen oder den Weg zu beenden.

Ich habe bereits erläutert, warum ein KI-Projekt mit dem Geschäftsproblem statt mit dem Modell beginnen sollte. Zuerst müssen das gewünschte Ergebnis, die Handlungsgrenze des Systems und der Erfolgsnachweis feststehen. Danach ist zu prüfen, ob KI gegenüber der einfachsten tragfähigen Alternative überhaupt der richtige Eingriff ist.

Selbst dann ist es noch zu früh für eine Auswahlliste von Modellen.

Nehmen wir ein Beschaffungsteam, das Lieferantenangebote schneller bewerten möchte. Das Ziel ist klar: weniger Zeit für den Vergleich, weniger Vertrags- und Budgetfehler und eine besser vorbereitete Kaufentscheidung.

Ein Modell kann Preise, Lieferzeiten und Garantiebedingungen korrekt aus den Angeboten extrahieren. Trotzdem kann das System unfähig sein, eine fundierte Empfehlung abzugeben.

Kann es den aktuellen Freigabestatus jedes Lieferanten lesen? In welchem System stehen das verfügbare Budget und bereits eingegangene Verpflichtungen? Gibt es eine gemeinsam getragene Definition für „Lieferrisiko“, oder existiert ihre Bedeutung nur im Urteil erfahrener Einkäufer?

Sind frühere Lieferantenentscheidungen gute Beispiele oder lediglich Aufzeichnungen über Gewohnheiten, die heute nicht mehr gelten? Gibt es repräsentative Fälle, mit denen sich die Qualität einer Empfehlung tatsächlich prüfen lässt?

Ein leistungsfähigeres Modell schließt diese Lücken nicht. Das Geschäftsproblem kann richtig gewählt sein, während die Informationsgrundlage für die Entscheidung unzureichend bleibt.

Making Your Data Ready for Agentic AI von Pramod Sadalage und Prem Chandrasekaran hat mir geholfen, diesen fehlenden Schritt klarer zu sehen. Die Autoren weisen darauf hin, dass ein Agent weder das implizite Wissen erfahrener Mitarbeitender automatisch kennt noch von selbst misstrauisch gegenüber fragwürdigen Daten wird. Sie schlagen unter anderem Datenverträge, Qualitätskontrollen, gemeinsame Definitionen, Zugriffsgrenzen und Überwachung vor.

Solche Mechanismen können nötig sein. Vor ihrer Auswahl steht jedoch eine grundlegendere Frage: Welche Informationen braucht die Arbeit für eine fundierte Entscheidung, und sind sie heute tatsächlich nutzbar?

Diese Frage kommt nach der Entscheidung, dass KI ein angemessener Eingriff ist, aber vor der Wahl von Datenarchitektur und Modell.

Das richtige Problem kann zur falschen Vorbereitung führen

Datendiskussionen in KI-Projekten bewegen sich häufig zu einem von zwei Extremen.

Die eine Seite sagt: „Das Modell weiß bereits viel; unsere Daten können wir später anbinden.“ Die andere sagt: „Zuerst müssen wir sämtliche Unternehmensdaten bereinigen und an einem Ort zusammenführen.“

Beides kann so verfrüht sein wie die Modellauswahl selbst.

Die erste Sicht unterstellt, dass die aktuellen, unternehmensspezifischen Tatsachen hinter einer Geschäftsentscheidung irgendwie verfügbar sein werden. Die zweite beginnt ein großes Vorbereitungsprogramm, bevor geklärt ist, welche Entscheidung welche Informationen benötigt.

Solche Probleme bleiben nicht unbedingt isoliert. Sambasivan und Kollegen beschreiben ihre Anhäufung als „data cascades“. Anhand von Interviews mit 53 Fachleuten auf vier Kontinenten untersuchen sie, wie scheinbar kleine Datenprobleme in spätere Modell- und Systementscheidungen hineinwirken.

Die qualitative Studie liefert keine allgemeine Fehlerrate für KI-Projekte. Sie stützt eine engere Aussage: Informationen mit ungeklärter Quelle, Bedeutung oder Verantwortung korrigieren sich nicht durch spätere technische Entscheidungen.

Datenarbeit ist deshalb nicht nur technische Vorbereitung nach der Modellauswahl. Sie gehört zur Geschäftsentscheidung darüber, ob die Modellauswahl überhaupt beginnen sollte.

„Sind unsere Daten bereit?“ ist die falsche Ausgangsfrage

Unternehmensdaten sind nicht losgelöst von ihrer Verwendung „bereit“ oder „nicht bereit“.

Dieselben Kundendaten können für einen wöchentlichen Vertriebsbericht genügen und für eine Kreditentscheidung in Echtzeit unzureichend sein. Ein Wartungshandbuch kann eine technische Frage beantworten, aber keinen aktuellen Lagerbestand nennen. Historische Verkaufsdaten können eine allgemeine Nachfrageprognose stützen und dennoch eine konkrete Planung in die Irre führen, wenn sie nicht zeigen, wie viele Verkäufe durch fehlenden Bestand verloren gingen.

Datenreife erhält erst in einem bestimmten Nutzungskontext Bedeutung:

• Welche Entscheidung oder welchen Arbeitsschritt soll die Information unterstützen?
• Wer ist von der Entscheidung betroffen?
• Zu welchem Zeitpunkt muss die Information gültig sein?
• Was geschieht, wenn sie fehlt oder falsch ist?
• Soll das System erklären, eine Entscheidung beeinflussen oder eine Transaktion ausführen?
• Welches Beispiel oder welcher Datensatz zeigt, dass das Ergebnis gut genug ist?

Der Maßstab sind nicht perfekte Daten. Der Maßstab ist eine Informationsgrundlage, die für die beabsichtigte Entscheidung und die Folgen eines Fehlers ausreicht.

Daten bedeuten hier mehr als Trainingsdaten

Bei „Datenvorbereitung“ denken viele zuerst an bereinigte Tabellen, vervollständigte Felder und Modelltraining. Die Informationsgrundlage eines betrieblichen Systems ist breiter.

Eine einzige Entscheidung kann all diese Bestandteile erfordern:

1. Schriftlich festgehaltenes Wissen: Richtlinien, Verträge, Produktdokumente oder technische Handbücher.
2. Aktueller Betriebszustand: Saldo, Preis, Bestand, Bestellung, Berechtigung oder Freigabe.
3. Explizite Regeln und Definitionen: Ausgabengrenzen, Anspruchsvoraussetzungen oder die vereinbarte Bedeutung von „aktiver Kunde“ und „Umsatz“.
4. Lernbeispiele: historische Beobachtungen, Kennzeichnungen und Rückmeldungen für Prognose, Klassifikation oder Schlussfolgerung.
5. Identität und Zugriff: welcher Nutzer welche Information für welchen Zweck sehen darf.
6. Nachweise: repräsentative Fälle und maßgebliche Aufzeichnungen, mit denen Modellaufgabe, ausgeführte Handlung und Geschäftsergebnis geprüft werden.

Diese Informationen müssen nicht alle in eine zentrale Datenplattform kopiert werden. Sie können unterschiedlichen Verantwortlichen gehören und verschieden lange gültig bleiben.

Der verbleibende Urlaubsanspruch eines Mitarbeiters sollte zum Zeitpunkt der Anfrage aus dem HR-System gelesen werden. Die Übertragsregel kann in einer genehmigten Richtlinie stehen. Für die Auslegung einer Ausnahme kann weiterhin eine HR-Fachkraft verantwortlich sein. Ob ein Mitarbeiter nur den eigenen Datensatz sehen darf, ist eine eigene Berechtigungsgrenze und kein Datenqualitätsproblem.

Die Unterscheidung zwischen schriftlichem Wissen, expliziten Regeln und zu lernenden Mustern ist hier wesentlich. Zuerst müssen Sie bestimmen, welche Arten von Informationen die Entscheidung benötigt und ob sie nutzbar sind. Erst danach lässt sich sinnvoll entscheiden, ob schriftliches Wissen direkt oder über Suche bereitgestellt wird, ein aktueller Zustand über API oder Abfrage kommt oder eine statistische Methode eine Beziehung lernen soll.

Sechs Fragen vor der Modellauswahl

Statt sämtliche Unternehmensdaten zu bewerten, beantworten Sie für eine Entscheidung oder einen Arbeitsschritt diese Fragen:

1. Was muss für diese Entscheidung genau bekannt sein? Führen Sie Dokumente, aktuelle Felder, Regeln, Beispiele und Ergebnisnachweise getrennt auf.
2. Wer ist für die Bedeutung und den aktuellen Zustand dieser Informationen verantwortlich? Wenn dasselbe Feld für zwei Teams etwas anderes bedeutet, liegt das unmittelbare Problem bei Definition und Verantwortung, nicht beim Modell.
3. Wie verändert sich die Entscheidung, wenn eine Information fehlt, veraltet oder strittig ist? Stoppt das System, gibt es eine engere Antwort oder arbeitet es weiter, ohne die Lücke zu erkennen?
4. Ist die Information für die benötigte Identität und den vorgesehenen Zweck zugänglich? Dass Daten existieren, bedeutet nicht, dass System oder Nutzer sie sehen dürfen.
5. Welche repräsentativen Beispiele oder externen Aufzeichnungen zeigen, dass das Ergebnis funktioniert? Einige beeindruckende Vorführungen bilden weder die tatsächliche Fehlerverteilung ab noch beweisen sie, dass die Arbeit abgeschlossen wurde.
6. Passen Kosten und Zeit für die Vorbereitung der fehlenden Information zum erwarteten Wert? Die Reparatur eines Quellsystems, die Klärung von Definitionen, ein Testdatensatz und die spätere Überwachung gehören zu den wirklichen Projektkosten.

Dies ist kein Punktesystem. Eine gesperrte Preisquelle lässt sich nicht durch aktuelle Dokumente mit hoher Punktzahl ausgleichen. Fehlt eine Aufzeichnung über die abgeschlossene Arbeit, beweisen starke Eingangsdaten an anderer Stelle das Ergebnis nicht.

Die Fragen sollen keine weitere Methode definieren. Sie sollen eine Lücke früh genug sichtbar machen, damit sich der Systementwurf noch ändern kann.

So können Produktunterlagen aktuell und sauber sein, während das System den vertraglich vereinbarten Preis eines Kunden aus keiner autorisierten Quelle lesen kann. Eine umfangreiche Verkaufshistorie muss die Zielgruppe eines neuen Produkts nicht abbilden. Sämtliche Eingaben für eine Transaktion können verfügbar sein, während keine Quelle belegt, dass die Transaktion tatsächlich abgeschlossen wurde.

Im Artikel darüber, wann Unternehmens-KI RAG benötigt, untersuche ich, wie benötigte Informationen das System erreichen sollten. Die hier behandelte Frage kommt zuerst: Lässt sich der Informationsweg für diese Entscheidung aufbauen und prüfen? Erst dann wird der Vergleich von direktem Kontext, Suche, RAG und aktuellen Abfragen sinnvoll.

Die Antwort lautet nicht immer „zuerst die Daten vorbereiten“

Eine Informationslücke zu finden und automatisch ein großes Datenprogramm zu starten, kann ebenso fehlgeleitet sein wie der vorschnelle Einstieg in die Modellauswahl.

Die Entscheidung kann lauten:

• Fortfahren: Informationen und Nachweise reichen aus, um Architekturen und Mechanismen zu vergleichen. Das ist noch keine Freigabe für den Produktivbetrieb.
• Umfang begrenzen: Dokumenttypen, Nutzergruppe, Produktfamilie, Fehlerfolgen oder Systembefugnis einschränken.
• Ein bestimmtes Element vorbereiten: eine fehlende Definition, Quellenanbindung, Regel oder Testmenge vervollständigen.
• Die Entscheidung bei einem Menschen belassen: Das System sammelt Informationen und erstellt einen Entwurf, während eine benannte Person die unsichere oder folgenreiche Entscheidung behält.
• Nur experimentieren: Mit einer begrenzten Fallmenge lernen, ohne betriebliche Entscheidungen zu beeinflussen.
• Diesen Weg beenden: Den KI-Eingriff aufgeben, wenn die Vorbereitung mehr kostet als der erwartete Wert oder die nötige Quelle und Befugnis nicht hergestellt werden können.

„Zuerst vorbereiten“ ist für sich genommen keine Entscheidung. Welches Dokument, welche Definition, welche Quellenanbindung oder welche Testmenge wird vorbereitet? Wer ist verantwortlich? Wann ist die Arbeit abgeschlossen und welcher Nachweis zeigt das? Was geschieht, wenn die Vorbereitung scheitert? Ohne diese Antworten hat das Unternehmen kein Problem gelöst, sondern ein offenes Datenprojekt begonnen.

Ein System zur Rechnungserfassung muss nicht das gesamte Rechnungsarchiv bereinigen und umwandeln. Die erste Version kann maschinenlesbare PDF-Rechnungen bestimmter Lieferanten annehmen, während Mitarbeitende Scans und unregelmäßige Rechnungen weiterhin im bestehenden Verfahren bearbeiten. Fehlen für ein neues Produkt historische Daten, kann das Team auf den Anspruch einer endgültigen Nachfrageprognose verzichten und mit Szenarien und offengelegten Annahmen planen. Beantwortet ein System Fragen anhand einer einzigen genehmigten Wartungsseite, kann es diese Quelle direkt verwenden, ohne RAG, semantische Schicht oder Datenplattform aufzubauen.

Komplexität verdient ihren Platz nur, wenn sie eine benannte Lücke schließt.

Ausreichende Information verleiht keine Befugnis

Der Zugriff auf korrekte und aktuelle Informationen gibt einem System nicht automatisch die Befugnis, eine Entscheidung zu treffen oder im Namen des Unternehmens eine Transaktion auszuführen.

Ein Beschaffungssystem kann alle Angebote korrekt vergleichen, während Lieferantenauswahl, Budgetfreigabe und Bestellerstellung bei verschiedenen Personen bleiben. Der Urlaubsanspruch eines Mitarbeiters kann korrekt sein; daraus folgt nicht, dass das System den Urlaubsantrag genehmigen darf.

Wie viel Befugnis ein KI-System erhalten sollte, ist eine eigene Entwurfsentscheidung. Ausreichende Informationen schaffen die Grundlage für zuverlässige Arbeit. Autorisierung bestimmt, wer was sehen darf und welche Handlungen die Außenwelt verändern dürfen.

Ein korrekter Vergleich von Lieferantenangeboten in einer Testmenge zeigt noch nicht, dass das System Geschäftswert schafft. Zuerst ist zu prüfen, ob die Empfehlung fachlich tragfähig ist. Danach muss belegt werden, dass der ausgewählte Lieferant oder die Bestellung tatsächlich im Beschaffungssystem erfasst wurde. Erst anschließend lässt sich beobachten, ob sich Bewertungsdauer oder Fehlerquote über die Zeit verändern.

Wie Modellausgabe, abgeschlossene Arbeit und Geschäftsergebnis getrennt gemessen werden, behandle ich im nächsten Teil der Reihe.

Die Modellauswahl wird zweimal aufgeschoben

Die Modellauswahl aufzuschieben macht das Modell nicht unwichtig. Das richtige Modell kann Qualität, Kosten, Latenz und die möglichen Aufgaben des Systems verändern.

Sinnvoll wird diese Entscheidung erst nach zwei Stufen.

Definieren Sie zunächst das Geschäftsergebnis, das sich verändern soll, und den Arbeitsschritt, an dem es entsteht. Unterscheiden Sie dann, welchen Eingriff die Arbeit tatsächlich benötigt: KI, herkömmliche Software, Prozessänderung oder etwas anderes.

Zeigen Sie anschließend, dass die für diesen Arbeitsschritt erforderlichen Informationen und Nachweise ausreichen, zugänglich und mit vertretbarem Aufwand vorzubereiten sind.

Erst dann lohnt sich der Vergleich, welches Modell oder welcher andere Mechanismus die Arbeit erledigen kann, ohne unnötige Komplexität hinzuzufügen.

Sämtliche Unternehmensdaten als „bereit“ oder „nicht bereit“ zu bezeichnen, ist einfach. Nützlicher ist diese Frage:

Was müssen wir für diese Entscheidung wissen, und sind die verfügbaren Informationen angesichts ihrer Folgen heute zuverlässig genug?

Die weiteren Entscheidungen zu Modellen, Informationen, Befugnis und Nachweisen finden Sie im Leitfaden zur Gestaltung eines KI-Systems für Ihr Unternehmen.