Wen empfiehlt ein LLM als Experten – und warum?

Ein Unternehmen sucht Beratung für das noch junge Feld der KI-Suche. Eine Führungskraft fragt ein LLM: „Wer sind in der Türkei die führenden Experten auf diesem Gebiet?“ Das Modell nennt drei Personen, begründet die Auswahl kurz und zeigt einige Quellen.

Die Liste kann ein sinnvoller Ausgangspunkt sein. Als Rangliste des Fachwissens wird sie riskant, solange unklar bleibt, was das Modell überhaupt bewertet hat.

Das Modell war bei den Projekten dieser Personen nicht dabei. Es kennt möglicherweise weder die Bedingungen, unter denen sie ihre Aussagen geprüft haben, noch ihre gescheiterten Versuche oder die Folgen ihrer Empfehlungen. Sichtbar ist vor allem die öffentliche Spur: Artikel, Links, Zitate, Konferenzprogramme, Podcasts, Unternehmensseiten, wissenschaftliche Veröffentlichungen und Suchergebnisse.

Manchmal bildet diese Spur echtes Fachwissen sehr gut ab. Manchmal zeigt sie hauptsächlich, wer im Netz besonders sichtbar ist.

Bei einer Empfehlung durch ein LLM sollte deshalb zuerst eine Frage geklärt werden: Hat das System Fachwissen bewertet oder die öffentlich sichtbaren Spuren, die Fachwissen hinterlassen kann?

Was KI sieht: öffentliche Spuren im Internet

Nehmen wir eine Digitalmarketing-Agentur, die ein neues Konzept im Bereich KI-Suche innerhalb weniger Wochen zu einer eigenen Leistungskategorie macht. Sie veröffentlicht in kurzer Folge Blogartikel, Glossareinträge, Webinare und LinkedIn-Beiträge. Zugleich gibt sie ihren eigenen Modellen und Vorgehensweisen Namen.

Daran ist zunächst nichts verdächtig. Die Agentur kann tatsächlich früh Fachwissen aufgebaut haben. Bei einer neuen Technologie zwanzig Jahre Erfahrung zu erwarten, wäre ohnehin wenig sinnvoll. Viele Inhalte können auch entstehen, weil Forschung und Praxiserfahrung offen geteilt werden.

Dasselbe öffentliche Bild kann jedoch entstehen, wenn einige kaum geprüfte Annahmen immer wieder neu formuliert werden. Nach wenigen Monaten nehmen die Agentur und ihre Führungskräfte viel Raum in den Suchergebnissen ein. Andere Seiten übernehmen die Begriffe.

Von außen können zwei unterschiedliche Situationen ähnlich aussehen. Das Team der Agentur gehört möglicherweise zu den führenden Fachleuten auf dem Gebiet. Vielleicht hat die Agentur aber auch nur eine der größten Online-Spuren zu diesem Thema aufgebaut.

Fachwissen ist außerdem an einen Kontext gebunden. Jemand kann die technische Architektur sehr gut verstehen und dennoch wenig Erfahrung mit der kommerziellen Anwendung haben. Eine Methode, die in einer Branche funktioniert, wurde in einer anderen womöglich nie geprüft. Produktwissen, das im vergangenen Jahr richtig war, kann heute überholt sein.

Inhalte können Fachwissen belegen. Sie sind nicht selbst das Fachwissen. Entscheidend ist weniger die Menge als die Frage, wie Aussagen entstanden sind, wie sie geprüft wurden und ob sie später sichtbar korrigiert wurden.

KI-Antworten können auf unterschiedlichen Informationswegen entstehen

Ein LLM kann ohne Websuche aus Mustern antworten, die es während des Trainings gelernt hat. In anderen Fällen sucht das System zum Zeitpunkt der Anfrage im Web. Sichtbarkeit kann in beiden Fällen eine Rolle spielen, aber nicht über denselben Mechanismus.

Ohne Websuche stützt sich das Modell auf Zusammenhänge, die es im Training gelernt hat. Wenn der Name einer Person in verschiedenen Dokumenten häufig zusammen mit einem bestimmten Thema erscheint, lässt sich diese Verbindung womöglich leichter abrufen. Daraus folgt nicht, dass das Modell die Aussagen dieser Person geprüft oder ihre Ergebnisse bewertet hat.

Mit Websuche beginnt eine andere Folge von Entscheidungen. Zuerst müssen Seiten gefunden werden. Dann bewertet das System, welche relevant und glaubwürdig erscheinen, und entscheidet, welche es für die Antwort verwendet. Welche Quellen anschließend als Belege angezeigt werden, ist eine weitere Entscheidung.

Suchmaschinen und KI-Produkte berücksichtigen mehr als die Zahl der Inhalte. Relevanz, Verlinkungen, Aktualität, Originalität, der Ruf einer Quelle und Hinweise auf Spam können ebenfalls eine Rolle spielen. Dasselbe Material hundertfach zu vervielfältigen, ist deshalb keine verlässliche Abkürzung.

Die genaue Gewichtung dieser Faktoren kennen wir nicht. Die Systeme arbeiten nicht alle gleich und verändern sich mit der Zeit. Eine Studie über Wiederholungen in Trainingsdaten sagt nicht voraus, welche Seiten ChatGPT Search heute auswählt. Auch die organischen Suchsignale von Google zeigen nicht, welche Verbindung zwischen Person und Thema ein LLM während des Trainings gelernt hat.

Was bekannt ist, was plausibel erscheint und was Spekulation bleibt

Es gibt keine veröffentlichte Formel dafür, wie ein KI-System zu dem Schluss kommt, jemand sei Experte. Drei Stufen der Evidenz helfen bei der Einordnung.

• Bekannt: Suchmaschinen und KI-Suchsysteme bewerten die erreichbaren Seiten unter anderem nach Relevanz, Qualität, Ruf, Originalität und Aktualität. Was ein Modell während des Trainings sieht, beeinflusst außerdem, was es später abrufen kann. Als Quelle in einer Antwort zu erscheinen, garantiert keine Richtigkeit.
• Plausible Schlussfolgerung: Unabhängige Verweise Dritter, eine nachvollziehbare Veröffentlichungshistorie, prüfbare Arbeiten und eine über längere Zeit konsistente Verbindung zwischen Person und Thema geben einem System mehr öffentliche Belege. Wie stark solche Signale bei Personenempfehlungen gewichtet werden, ist nicht offengelegt.
• SEO/GEO-Spekulation: Es gibt keinen starken allgemeinen Beleg dafür, dass ein einzelnes Signal wie die Zahl der LinkedIn-Beiträge oder Follower, Konferenzauftritte, Author-Schema-Markup oder ein Wikipedia-Eintrag direkt einen „KI-Expertisewert“ erhöht.

Keines dieser Signale ist wertlos. Verlinkungen, Veröffentlichungen, Konferenzauftritte und eine sichtbare Arbeitshistorie können Spuren echten Fachwissens sein. Das Problem liegt darin, dass ein System die Erfahrung hinter diesen Spuren nicht immer sehen kann.

Wie Sichtbarkeit zu Autorität werden kann

In schnelllebigen Feldern wiederholt sich ein Muster. Das muss nicht beabsichtigt sein.

1. Ein neuer Begriff entsteht, während die Belege noch begrenzt sind.
2. Beraterinnen und Berater, Agenturen und Softwareunternehmen beginnen, ihn zu erklären und als Leistung anzubieten.
3. Frühe Annahmen werden in Blogs, sozialen Netzwerken und Webinar-Zusammenfassungen wiederholt.
4. Die Verbindung zur ursprünglichen Quelle wird schwächer. Auf verschiedenen Seiten wirkt dieselbe Aussage nun wie unabhängig gewonnenes Wissen.
5. Suchmaschinen und KI-Suchsysteme wählen Quellen aus dieser wachsenden Inhaltsmenge aus.
6. Generierte Antworten bringen dieselbe Erzählung mit neuen Formulierungen und neuen Quellenangaben erneut in Umlauf.

Der Kreislauf kann an jeder Stelle unterbrochen werden. Suchmaschinen können kopierte oder wenig hilfreiche Seiten abwerten. Starke Primärquellen können sich durchsetzen. Nutzerinnen und Nutzer können die Quellen öffnen und die Belege prüfen. Ein Modell kann bei einer anders formulierten Frage anderes Material finden.

Viele Inhalte zu veröffentlichen schafft daher nicht automatisch Autorität. Genauer lautet das Problem: Wenn Sichtbarkeit, Wiederholung und Quellenangaben einander verstärken, kann eine ungeprüfte Aussage gefestigter wirken, als sie tatsächlich ist.

Zwanzig Quellen können auf eine einzige Aussage zurückgehen

Findet ein KI-System zwanzig Seiten mit derselben Aussage, sieht es nicht zwangsläufig zwanzig unabhängige Beobachtungen. Alle Seiten können auf denselben Bericht, dieselbe Pressemitteilung, denselben Konferenzvortrag oder denselben Blogartikel zurückgehen.

Verschwindet der Verweis auf den Ursprung beim Umschreiben, wird die gemeinsame Quelle schwer erkennbar. KI-generierte Zusammenfassungen können dieselbe Aussage erneut anders formulieren. Am Ende vermitteln die Suchergebnisse den Eindruck eines breiten Konsenses, obwohl die Belege weiterhin aus derselben ursprünglichen Quelle stammen.

Das Problem ist älter als generative KI. Untersuchungen von Zitationsnetzen zeigen, wie eine anfängliche Hypothese durch selektive Zitate und Wiederholungen ohne Quellenangabe im Laufe der Zeit als Tatsache erscheinen kann. Auch Menschen halten eine vertraute Aussage mitunter für glaubwürdiger, gerade weil sie ihr schon begegnet sind.

„Laut mehreren Quellen“ sollte deshalb nicht ungeprüft bleiben. Viele URLs sind nicht dasselbe wie viele unabhängige Beobachtungen. Verfolgt ein KI-System den gemeinsamen Ursprung der Quellen nicht, kann es Wiederholung nur schwer von Bestätigung unterscheiden.

Die Ökonomie der Inhaltsproduktion hat sich verändert

Hunderte Blogartikel, Glossareinträge, FAQ-Seiten, Webinar-Zusammenfassungen und Beiträge in sozialen Netzwerken zu produzieren, erforderte früher ein erhebliches redaktionelles Budget. Generative KI hat zumindest die Kosten für brauchbare Texte deutlich gesenkt.

Das macht Inhaltsproduktion nicht zu einer schlechten Praxis. Fachleute können dieselben Werkzeuge nutzen, um ihre Forschung verständlicher zu erklären, Notizen zu ordnen und unterschiedliche Leser zu erreichen. Dadurch können mehr hochwertige Informationen veröffentlicht werden.

In der Praxis erprobtes Fachwissen erfordert weiterhin Zeit mit realen Fällen, gescheiterte Versuche, Messung und ein Risiko für den eigenen Ruf. Sinken die Kosten für Inhalte, die wie ein Beleg für Fachwissen aussehen, schneller als diese Aufwände, wächst die wirtschaftliche Lücke.

Suchmaschinen entwickeln Filter gegen massenhaft erzeugte, kopierte oder wenig hilfreiche Inhalte. Damit wird reine Menge als Vorteil weniger verlässlich. Vollkommen sind diese Verfahren nicht. Oberflächliche Inhalte, die originell wirken, von echtem Wissen aus erster Hand zu unterscheiden, ist kein einfaches Klassifizierungsproblem.

Die vorsichtigere Schlussfolgerung lautet: Einige Sichtbarkeitssignale werden günstiger. Die Kosten für erprobtes Fachwissen sinken womöglich nicht im selben Tempo. Je größer dieser Abstand wird, desto wichtiger wird der Blick über die Menge der Inhalte hinaus.

Schwierigere Fragen zur Bewertung von Fachwissen

Sichtbarkeit sollte bei der Bewertung einer Person oder Organisation nicht ignoriert werden. Öffentliche Arbeit gehört weiterhin zu den besten Belegen, die uns zur Verfügung stehen. Sie sollte jedoch mit anspruchsvolleren Fragen geprüft werden als nur mit der Zahl der Veröffentlichungen.

• Gibt es eigene Daten, Testprotokolle, ein Produktergebnis oder einen realen Fall hinter den Aussagen?
• Trennt die Person zwischen dem, was sie weiß, was sie beobachtet hat und was sie daraus schließt?
• Ist erkennbar, welche Belege eine Aussage widerlegen würden?
• Erklärt sie, was nicht funktioniert hat und warum sich der Ansatz geändert hat?
• Korrigiert sie eine frühere Aussage sichtbar, wenn neue Belege hinzukommen?
• Sind die Referenzen wirklich unabhängig oder nur Ableitungen derselben Quelle?
• Ist die Aussage konkret genug, um ihren Geltungsbereich zu verstehen?

Echte Fachleute wissen meist nicht nur, was getan werden sollte, sondern auch, was nicht funktioniert hat und warum. Den Mechanismus eines Fehlschlags zu erklären, verlangt in der Regel mehr Nähe zum Problem als dessen Beobachtung aus der Distanz.

Diese Kriterien sollten ältere, etablierte Namen nicht automatisch bevorzugen. Auch eine neue Person kann in einem jungen Feld schnell echtes Fachwissen aufbauen. Entscheidend ist nicht das Dienstalter, sondern wie eine Aussage geprüft wurde und wie offen die Belege dafür liegen.

Was KI-Systeme besser machen könnten

Ein vollkommener Expertisewert ist kaum realistisch. Bessere Kriterien als die Zahl der URLs und der allgemeine Ruf einer Website sind dennoch möglich.

Systeme könnten Quellen nach ihren ursprünglichen Belegen gruppieren, statt nur URLs zu zählen. Wenn fünf Domains dieselbe Pressemitteilung umschreiben, sollten sie nicht als fünf getrennte Bestätigungen erscheinen.

Eine Aussage sollte möglichst auf die Quelle zurückführen, die sie zuerst aufgestellt oder direkt gemessen hat. Die Dokumentation eines Anbieters kann erklären, wie ein Produkt funktionieren soll. Ob es in der Praxis tatsächlich funktioniert, lässt sich dagegen besser mit unabhängiger Forschung oder einem prüfbaren Fall bewerten. Nutzerinnen und Nutzer sollten erkennen können, welcher Abschnitt einer Quelle eine wesentliche Aussage in der KI-Antwort stützt.

Auch Zeit und Korrekturverlauf könnten in die Bewertung einfließen. Wie haben sich frühere Vorhersagen entwickelt? Wurden Fehler korrigiert? Hat die Person an derselben Aussage festgehalten, obwohl sich die Belege verändert hatten?

Dabei entsteht ein Zielkonflikt. Erhalten bisheriger Ruf und Zitationszahlen zu viel Gewicht, werden bereits sichtbare Personen noch sichtbarer. Neue oder bisher wenig vertretene Fachleute können zurückfallen, weil ihre Online-Spur noch nicht groß genug ist.

Ein besseres System würde Ursprung, Unabhängigkeit und Grenzen der Belege zeigen, statt alles in einem einzigen Autoritätswert zu verdichten. Bei Unsicherheit sollte es das klar sagen können: Diese Person ist sehr sichtbar, aber unabhängige Belege für ihr Fachwissen sind begrenzt.

Wie eine KI-Empfehlung zu lesen ist

Die von einem LLM empfohlene Person kann ausgezeichnete Fachkenntnisse besitzen. Das Modell kann genau die richtigen Belege gefunden haben. Sichtbarkeit und Fachwissen sind keine Gegensätze. Gute Arbeit entwickelt häufig auf natürliche Weise eine öffentliche Spur.

Trotzdem misst ein KI-System das Fachwissen selbst nicht. Es nutzt im Training gelernte Zusammenhänge, erreichbare Seiten, von Ranking-Systemen ausgewählte Quellen und die Quellenangaben, die es für die Antwort zeigt. Jedes dieser Signale kann ein nützlicher Hinweis auf Fachwissen sein. Jedes hat eigene Fehlerquellen.

Eine KI-Empfehlung sollte deshalb eher als Ausgangspunkt für die Suche verstanden werden denn als Entscheidung. Danach gilt es, die Quellen zu öffnen, ihren gemeinsamen Ursprung zu verfolgen, unabhängige Belege zu suchen und die bisherige Leistung zu prüfen.

Zwei Fragen bleiben.

Wenn eine KI jemanden als Experten empfiehlt, hat sie dann sein Fachwissen gemessen oder die Größe seiner Online-Spur?

Und wenn es günstiger wird, eine ausreichend große sichtbare Spur von Fachwissen zu erzeugen, als echtes Fachwissen aufzubauen: Wie lässt sich dieser Unterschied dann noch erkennen?

Weiterführende Literatur

• Epistemic authority in the digital public sphere: Van der Linden und Kollegen unterscheiden zwischen vorhandenem Wissen, zugeschriebener Autorität und dem Anspruch, eine Autorität zu sein.
• Large Language Models Struggle to Learn Long-Tail Knowledge: Kandpal und Kollegen zeigen, dass Modelle Informationen leichter abrufen, wenn diese in Trainingsdaten breiter vertreten sind. Die Studie misst keine Expertenempfehlungen.
• Deduplicating Training Data Makes Language Models Better: Lee und Kollegen zeigen, dass das Entfernen doppelter Trainingsdaten die Ausgabe auswendig gelernter Texte verringern kann.
• Characterizing Web Search in the Age of Generative AI: Kirsten und Kollegen zeigen Unterschiede darin, wie generative Suchsysteme Quellen verwenden und wie stabil ihre Ergebnisse sind.
• Evaluating Verifiability in Generative Search Engines: Liu, Zhang und Liang untersuchen, warum angezeigte Quellen nicht bedeuten, dass jede Aussage belegt ist.
• Assessing Web Search Credibility and Response Groundedness in Chat Assistants: Vykopal und Kollegen zeigen, dass sich KI-Assistenten bei der Glaubwürdigkeit ihrer Quellen deutlich unterscheiden können.
• How citation distortions create unfounded authority: Greenberg verfolgt, wie eine einzelne Aussage durch Zitate und Wiederholung den Anschein eines starken Konsenses gewinnen kann.
• The truth about the truth: Dechêne und Kollegen untersuchen, wie Wiederholung die Beurteilung von Wahrheit beeinflussen kann.
• Online searches to evaluate misinformation can increase its perceived veracity: Aslett und Kollegen zeigen, dass qualitativ schwache Suchergebnisse, die eine Aussage stützen, den Glauben an manche falschen Aussagen verstärken können.
• Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence: Noy und Zhang messen bei bestimmten professionellen Schreibaufgaben kürzere Bearbeitungszeiten und eine höhere Qualität der Ergebnisse.
• Experts: Which Ones Should You Trust?: Alvin Goldman behandelt die Qualität von Argumenten, unabhängige Übereinstimmung, Interessen und bisherige Leistung als Belege zur Bewertung von Fachleuten.
• Googles Erläuterung zu KI-Funktionen, wie Bing Suchergebnisse bereitstellt und die Übersicht zu ChatGPT Search: Die Dokumentation der Anbieter hilft dabei, offengelegte Mechanismen von Branchenspekulation zu trennen.
• Googles Richtlinie gegen den Missbrauch skalierter Inhalte: Google erklärt, warum viele Seiten ohne zusätzlichen Nutzen unabhängig vom eingesetzten Werkzeug als Spam gelten können.