Funktionieren KI-Sichtbarkeits-Tools wirklich? Was sie tatsächlich messen

💡 Kurzfassung:
Was gemessen wird: KI-Sichtbarkeits-Tools, die ausgewählte Prompts in einem einzelnen Gesprächsschritt testen, messen ihr eigenes Testsetup – nicht direkt die Erfahrung realer Nutzer.
Der sinnvolle Einsatz: Trends unter gleichbleibenden Bedingungen verfolgen und Auffälligkeiten finden, die eine genauere Untersuchung verdienen.
Die Grenze: Ein Tool allein kann weder reale Sichtbarkeit noch Präferenz oder Geschäftswirkung belegen. Synthetische Tests sollten zusammen mit Produkt-, Verweis-, Verhaltens- und Geschäftsdaten aus erster Hand gelesen werden.

Funktionieren KI-Sichtbarkeits-Tools wirklich? Ja – aber für eine engere Aufgabe, als ihr Name vermuten lässt. Sie können zeigen, ob eine Marke in Antworten auf ausgewählte Prompts erscheint, und Veränderungen unter kontrollierten Testbedingungen verfolgen. Allein können sie nicht messen, wie häufig reale Nutzer diese Marke in privaten KI-Gesprächen über mehrere Schritte antreffen oder ob diese Begegnungen eine Entscheidung beeinflussen.

In der einfachsten Form sendet ein Tool seine ausgewählten Fragen an ein Modell, speichert die Antwort und zählt Marken- oder Quellenverweise. Das Ergebnis erhält anschließend größere Bezeichnungen: „KI-Sichtbarkeit“, „Share of Voice“ oder „Ihre Position in der KI-Erfahrung eines Nutzers“.

Mein Einwand richtet sich nicht gegen das Testen. Er richtet sich dagegen, ein Testsetup als Ersatz für eine Nutzererfahrung zu behandeln, die es nicht misst.

Die Unterscheidung klingt zunächst vielleicht akademisch. Das ist sie nicht. Wenn Sie eine ausgewählte Promptliste messen, können Sie Produktentscheidungen treffen, als hätten Sie die Frage „Wie häufig sehen reale Nutzer uns?“ beantwortet. Tatsächlich beantworten Sie nur: „Was ist heute bei den von uns ausgewählten Fragen geschehen?“

Als ich Bing-Citation-Share-Daten untersuchte, argumentierte ich, dass synthetische Promptsets keine echten Nutzerinteraktionen sind. Hier geht es mir um einen engeren und, wie ich finde, wichtigeren Punkt: Ein kontextloser Prompt in nur einem Gesprächsschritt ist möglicherweise nicht einmal eine kleine repräsentative Stichprobe einer echten Entscheidungsreise.

Was KI-Sichtbarkeits-Tools tatsächlich messen

Ein API-Aufruf kann eine Frage präzise beantworten:

Wie hat dieses Modell mit dieser Werkzeugkonfiguration zu diesem Zeitpunkt auf diesen Prompt reagiert?

Das ist eine nützliche Frage. Wenn Sie dasselbe Promptset regelmäßig unter denselben Bedingungen ausführen, können Sie Veränderungen im Zeitverlauf verfolgen. Sie sehen vielleicht Themen, bei denen ein bestimmter Wettbewerber häufiger genannt wird, entdecken eine auffällige Abweichung oder finden eine Frage, die das Inhaltsteam übersehen hat.

Zwischen dieser Aussage und der folgenden fehlen jedoch mehrere Schritte:

Wie häufig sehen reale Nutzer uns in echten Entscheidungsmomenten?

Die Lücke betrifft nicht nur die Stichprobengröße. Wer die Frage ausgewählt hat, wo das Gespräch begann, was der Nutzer bereits wusste, welches Detail später hinzukam und welchen Kontext die Produktoberfläche für diese Person verwendete – all das kann das Ergebnis verändern.

Führt ein Tool einen einzelnen API-Aufruf aus, beobachtet es nicht die Nutzererfahrung. Es beobachtet sein eigenes Versuchsdesign.

Nicht jedes Tool arbeitet auf diese Weise. Ahrefs erklärt, Brand Radar erzeuge Promptsets aus Google-Fragen unter „Ähnliche Fragen“ und aus Keyword-Daten und erfasse anschließend Antworten aus öffentlichen KI-Oberflächen. Semrush erklärt, seine Datenbank verbinde Prompts aus KI-Clickstream-Daten und Google-Keyword-Daten; die Antworten stammten aus echten Produktanfragen und nicht aus LLM-APIs. Beide Anbieter bezeichnen ihre Sichtbarkeitskennzahlen dennoch als richtungsweisend oder modelliert, nicht als exakte Reichweite im Publikum. Das Problem lautet daher nicht, dass jeder Anbieter einen beliebigen API-Prompt ausführt. Das Ergebnis bleibt eine Stichprobe, deren Konstruktion und Grenzen sichtbar sein müssen. Siehe die Methodik von Ahrefs Brand Radar und die Erläuterung der Semrush-Daten zur KI-Sichtbarkeit.

Warum ist ein Prompt ohne Kontext ein so enger Ersatzwert?

Nehmen Sie die Suche nach einem Hosting-Anbieter. Ein realer Nutzer könnte beginnen mit:

Ich suche schnelles und bezahlbares Hosting für eine WordPress-Website.

Das Gespräch entwickelt sich anschließend weiter. Der Nutzer nennt sein Monatsbudget, die Besucherzahlen, Probleme mit dem aktuellen Anbieter, den Standort des Publikums in der Türkei oder einem anderen Markt, den Bedarf an technischem Support oder das bereits eingesetzte CDN. Vielleicht fragt er zunächst nach Optionen, vergleicht danach zwei Empfehlungen und möchte schließlich wissen, welche davon zu seinen Bedingungen passt.

Ein Sichtbarkeits-Tool könnte stattdessen einen Prompt wie diesen ausführen:

Hosting, das WordPress 7.1 mit einer TTFB unter 100 ms ausliefern kann.

Das kann wie ein technisch sinnvoller Filter aussehen. Ein fortgeschrittener Nutzer kann sich tatsächlich für TTFB interessieren. Der Punkt ist nicht, dass niemand diese Frage je eingeben würde. Ohne Beleg gibt es nur keinen Grund, eine kontextlose Frage in einem einzigen Gesprächsschritt als repräsentativ für echtes Nutzerverhalten anzunehmen.

Selbst jemand, dem TTFB sehr wichtig ist, kann mit einem natürlicheren Gespräch beginnen und diese Einzelheit erst im zweiten oder dritten Schritt nennen. Das Tool macht dagegen aus einem Satz, der aus klassischer Suchbegrifflogik abgeleitet ist, den ersten und einzigen Kontext. Wir sollten nicht erwarten, dass die daraus entstehende Antwort mit der abschließenden Empfehlung für den realen Nutzer übereinstimmt.

Das macht den Prompt nicht „schlecht“. Er braucht nur die richtige Bezeichnung: eine synthetische Testanfrage.

Die echte Produktoberfläche ist größer als eine API-Antwort

Eine Websuche über eine API nutzen zu können ist heute eine wichtige technische Fähigkeit. Sie macht einen API-Aufruf aber nicht mit der Erfahrung im Endkundenprodukt gleichwertig.

Die Dokumentation zu ChatGPT Search macht die Unterscheidung sichtbar. ChatGPT kann die Anfrage eines Nutzers in eine oder mehrere gezielte Suchanfragen umformen, nach den ersten Ergebnissen weitere und spezifischere Suchen senden und – sofern der Nutzer die entsprechenden Funktionen aktiviert hat – allgemeine Standortdaten und relevante gespeicherte Informationen verwenden, um die Suche zu verbessern.

Der Satz eines Nutzers muss also nicht die Suchanfrage sein, die das System tatsächlich ausführt. Derselbe Nutzer kann aufgrund von Informationen aus früheren Gesprächsschritten außerdem einen anderen Weg nehmen als ein kontextloser Testprompt.

Der Hinweis „Die API hat inzwischen ein Webwerkzeug“ löst das Problem daher nicht. Webzugriff kann dem Test aktuellere Quellen erschließen. Promptauswahl, Gesprächsverlauf, Standort, Personalisierung, Modellversion, Werkzeugeinstellungen und weitere Bedingungen des Endkundenprodukts bleiben trotzdem eigenständige Variablen.

Wenn ein Testwerkzeug nicht erklärt, welche dieser Variablen es konstant hält, sollte der Bericht nicht „KI-Sichtbarkeit“ heißen. Die genauere Bezeichnung wäre: „undefinierte Testbedingungen“.

Funktionieren KI-Sichtbarkeits-Tools also wirklich?

Innerhalb der richtigen Grenzen: ja. Eine ehrliche Kritik behauptet nicht, diese Werkzeuge seien nutzlos. Sie können zuverlässig berichten, was in einer definierten synthetischen Stichprobe geschehen ist, und Veränderungen unter gleichbleibenden Bedingungen verfolgen. Das macht sie noch nicht zu einem genauen Maß für die Sichtbarkeit bei realen Nutzern. Ihre nützliche Rolle ist enger.

Was ein Tool vernünftigerweise sagen kann	Was es allein nicht sagen kann
Wie häufig eine Marke oder Quelle in einem ausgewählten Promptset erscheint	Wie häufig reale Nutzer die Marke sehen
Wie sich das Ergebnis unter denselben Testbedingungen verändert	Warum es sich verändert hat oder welche Wirkung eine Maßnahme hatte
Wie sichtbar ein Wettbewerber in derselben synthetischen Stichprobe ist	Wie groß reale Marktpräferenz oder Share of Voice sind
Dass eine Quelle oder Marke in einer bestimmten Antwort erscheint	Dass ein Nutzer die Marke bemerkt, bewertet, angeklickt oder bei ihr gekauft hat
Dass eine Auffälligkeit auf Promptebene untersucht werden sollte	Welche Sichtbarkeit entlang der gesamten Nutzerreise entstanden ist

Das bedeutet nicht, dass Sie ein Abonnement kündigen müssen. Sie müssen jedoch die Zahl im Dashboard von der Frage trennen, die Ihr Unternehmen tatsächlich beantworten will.

Sinkt Ihre Sichtbarkeit beispielsweise im selben Testset über längere Zeit, ist das ein Signal, das eine Untersuchung verdient. Ursache können ein Zugriffsproblem auf Ihren Seiten, ein mehrdeutiger Markenname, veraltete Inhalte oder eine Änderung im Messdesign des Tools sein. Das Werkzeug erzeugt Hypothesen. Es bestätigt sie nicht allein.

Das ist dieselbe breitere Grenze, die ich in meinem llms.txt-Experiment erreicht habe: Eine technische Beobachtung ist keine bestätigte Marketingrendite. Ob eine Kurve steigt oder fällt – zuerst müssen Sie verstehen, welche Frage sie tatsächlich beantwortet.

Wie sähe ein ehrlicherer Testbericht aus?

Soll ein Tool echte Entscheidungsunterstützung liefern, muss es seine Testspezifikation zeigen, bevor es einen einzelnen Wert präsentiert. Mindestens diese Punkte sollten klar sein:

Wer hat das Promptset ausgewählt und wie? Stammt es aus echten Nutzerfragen, aus Annahmen des Vertriebsteams oder wurde es von einem Modell erzeugt?
Umfasst der Test einen oder mehrere Gesprächsschritte? Wenn er mehrere Schritte hat: Welche Information wurde in welchem Schritt gegeben? Wenn er nur einen Schritt hat: Wird diese Grenze im Bericht genannt?
Welches Produkt und welche Konfiguration wurden verwendet? Welche Werte galten für Modell, Webzugriff, Region, Sprache, Sitzungszustand und Version?
Wie wurde die Antwort bewertet? Zählte eine Markennennung, ein Quellenlink, die Reihenfolge einer Empfehlung oder die tatsächliche Nützlichkeit der Antwort?
Wie hängt der Test mit echten Geschäftsergebnissen zusammen? Gibt es passende Daten zu Verweisen, organischer Sichtbarkeit, Supportfällen, Demoanfragen oder Verkäufen?

Ohne diese Angaben macht eine präzise wirkende „Sichtbarkeitspunktzahl“ den Test nicht repräsentativ für echtes Nutzerverhalten. Möglicherweise zeigt sie nur, dass die Berechnung aus vielen Schritten besteht.

Messung braucht mehrere Ebenen

Ein einziges Dashboard reicht nicht aus, wenn ein Unternehmen KI-bedingte Sichtbarkeit verstehen will. Unterschiedliche Fragen brauchen unterschiedliche Daten:

Synthetische Tests können Veränderungen innerhalb desselben Promptsets verfolgen und Forschungshypothesen erzeugen.
Produktdaten aus erster Hand können Zitations- oder Impressionsinformationen auf der echten Produktoberfläche zeigen, sofern der jeweilige Anbieter solche Daten bereitstellt und ihren Geltungsbereich erklärt.
Verweisdaten bringen uns näher an die Frage, ob ein Nutzer die Website tatsächlich erreicht hat. OpenAI erklärt beispielsweise, den von ChatGPT Search ausgehenden URLs den Parameter utm_source=chatgpt.com hinzuzufügen. OpenAI Publisher FAQ
Verhaltens- und Geschäftsdaten zeigen, ob ein Besuch qualifiziert war und ob der Nutzer anschließend recherchiert, getestet, angefragt oder gekauft hat.

Diese Ebenen ersetzen einander nicht. Ein Prompttest ist kein Datensatz mit Verweisen. Ein solcher Verweis bedeutet nicht, dass ein Nutzer der Empfehlung vertraut oder gekauft hat. Eine Zitationskennzahl ist weder Ranking noch Umsatz.

Diese Unterschiede zu bewahren schwächt die Messung nicht. Es bringt sie an die richtige Stelle.

Sie testen ein Promptset, nicht die Nutzererfahrung

Am sinnvollsten behandeln Sie einen synthetischen Test wie einen Labortest. Sie dokumentieren Frage, Bedingungen und Ergebnis. Sie wiederholen denselben Aufbau, verfolgen Veränderungen und untersuchen Auffälligkeiten genauer.

Am schädlichsten ist es, das Laborergebnis als Marktforschung, Nutzererfahrung und Vertriebswirkung zu verpacken.

Wenn ein Tool sagt „Wir messen KI-Sichtbarkeit“, lautet meine erste Frage deshalb:

Welche Nutzer, Kontexte und Phasen einer Entscheidungsreise soll dieses Promptset repräsentieren?

Besteht die Antwort nur aus einer Liste von Prompts, berichtet das Tool, wie sich diese Stichprobe verhält. Es beobachtet nicht direkt die Nutzererfahrung.

Das kann weiterhin nützlich sein – wenn es richtig benannt, sauber eingegrenzt und nicht als Ersatz für echte Nutzerdaten behandelt wird.