Vier Fehler im eigenen Messwerkzeug

Ruben Schilken · 5. September 2026 · Lesezeit 6 Minuten

Wenn Ihnen jemand eine Zahl zur KI-Sichtbarkeit Ihres Unternehmens vorlegt, können Sie diese Zahl nicht nachrechnen. Sie sehen einen Punktwert, meist von 100, und müssen dem Verfahren dahinter vertrauen. Wie schnell ein solches Verfahren daneben liegt, haben wir am eigenen Werkzeug erlebt: Am 4. September 2026 haben wir auf unserer Beispielseite zum KI-Sichtbarkeits-Audit vier Fehler eingeräumt, die alle im eigenen Messwerkzeug steckten. Keiner davon kam von außen. Wir haben sie gefunden, weil eine Zahl zu gut aussah und jemand die Rohantwort gegengelesen hat, statt sich zu freuen.

Ein KI-Sichtbarkeits-Audit misst, ob und wie eine Marke in den Antworten von Systemen wie ChatGPT, Perplexity oder Google AI Overviews vorkommt. Man stellt einem solchen System eine Reihe Fragen, sammelt die Antworten und zählt aus. Das klingt simpel. An jeder Stelle des Auszählens kann man sich irren, und die Irrtümer sehen aus wie Ergebnisse.

Wofür das zählt, merkt man erst später. Eine geschmeichelte Zahl wandert in eine Präsentation, von dort in ein Gespräch mit der Geschäftsführung. Dort fragt jemand nach: „Zeigen Sie mir die Antwort, in der wir vorkommen.“ Wenn dann die Rohantwort auf den Tisch kommt und der Markenname darin nicht steht, ist nicht die Zahl beschädigt, sondern die Person, die sie vorgetragen hat.

Fehler 1: Treffer auf zwei Buchstaben

Unser Werkzeug prüfte nur das erste Wort eines Markennamens. Bei „MK Media“ suchte es also die Zeichenfolge „mk“ irgendwo im Antworttext. Es meldete eine Nennung, wo im Wortlaut keine stand. Zwei Buchstaben, die in vielen anderen Wörtern vorkommen, reichten für einen Punkt.

Aufgefallen ist das nur, weil das Ergebnis besser war als erwartet und wir die Rohantwort daraufhin Zeile für Zeile gelesen haben. Behoben haben wir es mit einer Prüfung an Wortgrenzen: Der Name zählt, wenn er als eigenes Wort dasteht, nicht als Fragment in einem anderen. Gegen acht Testfälle abgesichert.

Fehler 2: Der Markenname kam aus der Domain

Ein Auszählskript suchte die Zeichenfolge „myearf“. Die stammte aus der Domain myearfun.com. Die KI-Antworten schreiben die Marke aber „EarFun“. Das Skript zählte 8 von 32 Antworten, richtig waren 9 von 32.

Der Fall wirkt klein und ist ein Systemfehler: Eine Domain ist eine technische Adresse, kein Sprachgebrauch. Was in einer Antwort steht, muss man aus Antworten lernen, nicht aus der URL ableiten. Die falsche Zahl stand bereits veröffentlicht. Wir haben sie mit sichtbarem Nachtrag korrigiert und nicht still ausgetauscht. Wer eine Zahl nachträglich leise ändert, nimmt dem Leser die Möglichkeit, den eigenen Notizen zu trauen.

Fehler 3: Ein mehrdeutiger Name, ohne Beleg gezählt

Gemessen haben wir auf „MK Media“. Perplexity antwortete auf die direkte Frage wörtlich: „Ich kenne ‚MK Media‘ nicht als eine eindeutig einzelne Firma, weil es mehrere Unternehmen mit diesem Namen gibt.“ Danach zählte das System mehrere davon auf, darunter eine PR- und Eventagentur in Hamburg.

Unser Werkzeug verbuchte das als Nennung. Ein Treffer auf den Namen belegt aber nicht, dass die richtige Firma gemeint ist. Behoben haben wir das so: Gemessen wird der volle Firmenname. Der Kurzname zählt nur, wenn im Umfeld ein Erkennungszeichen steht, also der Ort, die eigene Domain oder der Name der Geschäftsführung. Fehlt dieses Zeichen, gilt der Treffer als unbestätigt. Ist der Name so mehrdeutig, dass sich überhaupt kein Erkennungszeichen finden lässt, bricht die Messung ab, statt eine Zahl zu liefern. Das ist unbequem und trotzdem richtiger als eine Zahl, die eine fremde Firma mitzählt.

Fehler 4: Quellen doppelt gezählt, Verzeichnisse zu hoch gewichtet

Dieselbe Seite tauchte aus zwei Suchläufen zweimal in der Quellenliste auf. Die Punktzahl rechnete mit der Summe statt mit der bereinigten Liste. Aus 2 Quellen wurden 4, aus 4 Punkten wurden 20.

Dazu kam die Gewichtung. Ein Handelsregister-Spiegel wie Gelbe Seiten oder Creditreform zählte genauso viel wie ein redaktioneller Testbericht. Der eine Eintrag entsteht als automatischer Datenbankabzug, der andere ist eine bewusste redaktionelle Entscheidung. Wir entdoppeln jetzt über die Adresse und gewichten getrennt: redaktionelle Quelle 5 Punkte, Verzeichniseintrag 2 Punkte, gedeckelt bei 6. Unsere eigene Punktzahl fiel dadurch von 55 auf 39 von 100.

Alle vier zeigten in dieselbe Richtung

Das ist der Teil, der über unser Werkzeug hinausgeht. Keiner der vier Fehler ließ das Ergebnis schlechter aussehen. Jeder ließ es besser aussehen.

Ein Prüfer, der zu wenig findet, fällt sofort auf. Die Zahl tut weh, jemand fragt nach, das Werkzeug kommt auf den Tisch. Ein Prüfer, der zu viel findet, fällt niemandem auf, weil das Ergebnis gefällt. Wer bestellt hat, freut sich. Wer geliefert hat, freut sich mit. Fehler in die freundliche Richtung überleben deshalb länger — sie werden nicht gesucht.

Praktisch heißt das: Ein Ergebnis, das über der eigenen Erwartung liegt, ist der Anlass zum Nachrechnen, nicht der Anlass zum Verschicken.

Vier Fragen an jeden Anbieter

Wenn Sie eine KI-Sichtbarkeitsmessung einkaufen, stellen Sie diese vier Fragen. Jede hat eine prüfbare Antwort, keine Meinungsfrage darunter.

1. Wie wird ein Treffer erkannt? Wortgrenzen oder bloße Zeichenfolge? Lassen Sie sich einen Treffer im Rohtext der Antwort zeigen. 2. Woher stammen die geprüften Schreibweisen? Aus den tatsächlichen Antworten oder aus der Domain? 3. Was passiert bei einem mehrdeutigen Markennamen? Gibt es ein Erkennungszeichen, und was geschieht, wenn keines vorliegt? 4. Wie werden Quellen gezählt? Wird entdoppelt, und zählt ein Verzeichniseintrag so viel wie ein Testbericht?

Wer keine dieser Fragen beantworten kann, hat keine Methode, sondern eine Ausgabe.

Eine Probe können Sie selbst machen, ohne technisches Vorwissen: Lassen Sie sich fünf gemeldete Nennungen im Wortlaut zeigen und lesen Sie nach, ob Ihr Unternehmen dort wirklich gemeint ist.

Was dieser Text nicht ist

Diese vier Fehler stammen aus einem einzigen Werkzeug, unserem eigenen. Das ist keine Untersuchung des Marktes und keine Aussage über andere Anbieter. Wir wissen nicht, wie deren Auszählung arbeitet, und behaupten es auch nicht. Es sind vier Fragen und keine vier Vorwürfe.

Zweitens schwanken KI-Antworten von Tag zu Tag. Dieselbe Frage bringt morgen eine andere Antwort, mit anderen Namen und anderen Quellen. Auch eine fehlerfreie Messung bleibt deshalb eine datierte Momentaufnahme. Sie sagt, was am Messtag in den Antworten stand, und mehr nicht. Eine ernst gemeinte Zahl trägt darum immer ein Datum und die Angabe, wie oft gefragt wurde; fehlt beides, ist die Nachkommastelle Dekoration. Wer Ihnen einen stabilen Wert verspricht oder eine garantierte Verbesserung in einer KI-Antwort, verspricht etwas, das er nicht kontrolliert. Was ein Anbieter kontrollieren kann, ist die Sauberkeit seiner Zählung. Danach sollten Sie ihn fragen, bevor Sie unterschreiben.