Eine KI zu fragen ist keine Messung — was uns fast zwei Kunden gekostet hätte
Am 30. August lagen bei uns zwei fertige Mails im Postfach, adressiert an zwei Hersteller aus dem Haushaltsgerätebereich. In beiden stand derselbe Satz: In den Antworten der KI-Systeme taucht Ihre Marke nicht auf. Geprüft hatten wir das. Die Antwort lag im Wortlaut vor, und wir waren sicher.
Vor dem Versand haben wir dieselben Fragen noch einmal gestellt, diesmal in vier Systemen statt in einem. Bei der ersten Marke nannten drei von vier Systemen sie doch. Bei der zweiten waren es zwei von vier. Beide Mails haben wir gelöscht.
Hätten wir sie verschickt, wäre unsere zentrale Behauptung mit einer einzigen Rückfrage widerlegt gewesen. Der Empfänger hätte sein eigenes ChatGPT geöffnet, seinen Markennamen eingetippt und sich gefragt, wovon wir reden.
Warum vier Systeme vier verschiedene Antworten geben
Ein Sprachmodell erfindet seine Empfehlungen nicht. Es baut sie aus dem, was es findet, und die Systeme finden Unterschiedliches.
Google Gemini und Claude stützen sich in deutschen Kaufberatungen stark auf Vergleichs- und Testartikel. Wer dort vorkommt, kommt auch in der Antwort vor. Wer in diesen Artikeln fehlt, fehlt in der Empfehlung, selbst wenn die Marke bekannt und der Shop gut ist. ChatGPT und Perplexity gewichten anders und beziehen andere Quellen ein.
Für jede Einzelprüfung folgt daraus etwas Unangenehmes. Sie messen nicht die Sichtbarkeit Ihrer Marke, sondern die Sichtbarkeit in genau einem System, an genau einem Tag. Das kann stimmen. Es kann auch das Gegenteil dessen sein, was Ihre Kunden zu sehen bekommen, und Sie merken den Unterschied erst, wenn ein Kunde nachfragt.
Bekannt ist nicht empfohlen
Der zweite Fehler steckt in der Frage selbst. Wir haben 32 Messungen an neun Marken durchgeführt und dabei zwei Fragetypen getrennt.
Auf die direkte Frage nach der Marke kannte jedes System jede Marke. Bei den Empfehlungsfragen, also dort, wo jemand nach einem guten Gerät für seinen Zweck fragt, wurden aus 32 Nennungen 9.
Für Ihr Geschäft zählt die zweite Zahl. Niemand tippt Ihren Markennamen ein, um zu erfahren, ob es Sie gibt. Gefragt wird nach dem Problem, und die Antwort nennt drei bis acht Anbieter. Stehen Sie nicht darunter, findet der Kauf ohne Sie statt.
Bei einer Marke aus dem Tierbedarf haben wir beides nebeneinander gemessen: Alle vier Systeme nannten sie, als wir nach seriösen und bekannten Anbietern fragten. Als wir nach einer Empfehlung fragten, waren es zwei von vier.
So prüfen Sie es selbst, in einer Viertelstunde
- Nehmen Sie zwei Systeme, nicht eins. ChatGPT und Gemini reichen für den Anfang, beide gibt es kostenlos.
- Stellen Sie die Frage, die Ihr Kunde stellen würde: nach Zweck, Budget und Kategorie, nicht nach Ihrem Namen. Statt „Kennst du Marke X“ also „Welchen Akkusauger für Tierhaare bis 300 Euro würdest du empfehlen?“. Bei der zweiten Formulierung entscheidet sich, ob Sie im Geschäft vorkommen.
- Öffnen Sie für jede Frage eine neue Sitzung ohne Verlauf. Ein System, das Sie kennt, weil Sie sich zwei Fragen vorher vorgestellt haben, antwortet anders.
- Schreiben Sie Datum, Wortlaut der Frage und die genannten Anbieter mit. Ohne Notiz haben Sie beim nächsten Mal keinen Vergleich.
Wenn Sie in beiden Systemen unter den genannten Anbietern stehen, ist Ihre Lage besser als die der meisten Marken, die wir gemessen haben. Dann brauchen Sie uns nicht.
Was diese Prüfung nicht kann
Sie bekommen eine Momentaufnahme, keinen Trend. Die Antworten schwanken zwischen Tagen und zwischen Sitzungen, teils deutlich. Wer aus einer einzigen Messung eine Entwicklung ableitet, liest Rauschen.
Sie bekommen auch keine Platzierung. Niemand kann Ihnen einen Platz in einer KI-Antwort versprechen, wir eingeschlossen. Was sich beeinflussen lässt, sind die Quellen, aus denen die Systeme ihre Antworten bauen: deutschsprachige Fachinhalte, Tests, Vergleiche, klare Produktangaben.
Und unsere eigenen Zahlen sind klein. 32 Messungen an neun Marken sind ein Ausschnitt, kein Marktbild. Wir schreiben deshalb dazu, wie viele Fragen wir gestellt haben und an welchem Tag.
Was wir daraus gemacht haben
Seit dem 30. August prüfen wir jede Aussage über eine fremde Marke in vier Systemen, bevor sie das Haus verlässt. Das kostet etwa eine Stunde je Marke und rund einen Euro an Abfragekosten. Es hat uns zwei Mails gespart, die uns unglaubwürdig gemacht hätten.
Für Sie heißt das dasselbe in klein: Bevor Sie Budget in KI-Sichtbarkeit stecken, messen Sie zweimal. Einmal reicht nicht, und die Prüfung ist billiger als die Kampagne, die auf einer falschen Annahme aufsetzt.
Passt dazu
Wenn Sie es nicht selbst messen wollen.
Wir stellen Ihre Fragen in vier Systemen, jede in einer frischen Sitzung ohne Verlauf. Sie bekommen jede Antwort im Wortlaut, den Vergleich mit Ihren Wettbewerbern und eine Nachmessung nach 30 Tagen. Das Audit kostet 390 € zzgl. USt. und dauert fünf Werktage ab Zahlungseingang.