Warum Ihre KI veraltete Informationen wiederholt
Ein Fehler aus dem eigenen Haus
Ein Partner von uns hatte eine Rechnung bezahlt. Zweimal sogar, in zwei Raten, zuletzt am 26. August. Das war korrekt dokumentiert, mit Datum, Betrag und Quelle.
Trotzdem meldete unser System die Forderung weiter als offen. Jeden Tag aufs Neue.
Das Wissen war da. Das Verhalten änderte sich nicht.
Warum das passiert
Der neue Satz lautete: „Es ist nichts offen.“ Der alte Satz lautete: „Offen: 451,96 €.“ Beide standen in verschiedenen Dateien.
Das Entscheidende: Der neue Satz verneint den alten nicht. Kein Wort in ihm sagt „das andere gilt nicht mehr“. Ein Mensch sieht den Widerspruch sofort. Eine Maschine, die Texte vergleicht, sieht ihn nicht.
In der Forschung heißt das impliziter Konflikt: Eine neue Information entwertet eine alte, ohne ihr zu widersprechen.
Die Zahl, die das Problem beschreibt
Eine Untersuchung aus diesem Jahr hat genau das gemessen. Ein getestetes System erkannte den richtigen Stand in 91 Prozent der Fälle. Aber es handelte nur in 32 Prozent danach.
| Was gemessen wurde | Trefferquote |
|---|---|
| Kennt das System den aktuellen Stand? | 91 % |
| Verhält es sich auch danach? | 32 % |
Wissen und Verhalten sind zwei verschiedene Dinge. Das ist der Kern.
Was viele falsch angehen
Der übliche Reflex: eine Suchfunktion einbauen, die ähnliche Inhalte findet. Das hilft hier nicht.
Der Grund steht in derselben Untersuchung. Ein Widerspruch ist dem ursprünglichen Satz im Schnitt ähnlicher als eine bloße Wiederholung. Eine Ähnlichkeitssuche findet beide Sätze — und kann nicht sagen, welcher gilt.
Unser Fall wäre so nicht gefunden worden.
Was tatsächlich hilft
Drei Dinge, in dieser Reihenfolge:
- Einen Rückverweis an der alten Stelle. Nicht die alte Information löschen. Darunter schreiben, wodurch sie ersetzt wurde und seit wann. Wer die alte Stelle liest, findet dann die neue.
- Die Regel dorthin, wo die Zahl entsteht. Bei uns lag die Erklärung in einer Notizdatei. Das Werkzeug, das die Zahl täglich ausgab, kannte sie nicht. Eine Regel wirkt nur da, wo sie eingebaut ist.
- Prüfen, wo Ihr Prüfwerkzeug hinsieht. Unseres durchsuchte einen Ordner. Der widersprüchliche Satz stand in einem anderen. Es meldete „alles sauber“ — und hatte formal recht.
So finden Sie das bei sich
- Nehmen Sie eine Information, die sich zuletzt geändert hat. Ein Preis, ein Ansprechpartner, ein Status.
- Suchen Sie den alten Wert — im ganzen System, nicht nur dort, wo Sie ihn vermuten. Suchen Sie auch nach der Zahl, nicht nur nach dem Namen.
- Prüfen Sie jede Fundstelle: Steht dort ein Hinweis auf den neuen Stand? Wenn nein, wird sie irgendwann als gültig gelesen.
- Fragen Sie, welches Werkzeug die Zahl ausgibt. Kennt es die Ausnahme? Oder steht sie nur in einem Dokument daneben?
Was das kostet, wenn es niemand merkt
In unserem Fall war der Schaden gering. Ein Kollege hat mehrfach nachgefragt, warum dieselbe Meldung wiederkommt. Ärgerlich, mehr nicht.
Gefährlich wird es eine Stufe weiter. Wer auf so eine Meldung hin einen Partner mahnt, der längst bezahlt hat, beschädigt eine Geschäftsbeziehung. Genau davor stand unser System.
Was dieser Text nicht sagt
Wir haben ein System untersucht: unser eigenes. Die genannten Prozentwerte stammen aus einer fremden Untersuchung mit einem anderen Aufbau und lassen sich nicht auf Ihren Fall übertragen. Was sich übertragen lässt, ist die Frage — nicht die Zahl.
Wir haben außerdem keine Lösung verkauft, sondern eine repariert. Ob der Rückverweis langfristig trägt, wissen wir in einigen Wochen. Wie wir mit solchen Messungen umgehen, steht in unserem Beitrag über ein Prüfwerkzeug, das vier von fünf Verweisen übersah.
Warum wir das öffentlich schreiben
Weil dieser Fehler nicht nach einem Fehler aussieht. Nichts stürzt ab. Keine Meldung erscheint. Das System arbeitet weiter und wiederholt eine Information, die einmal richtig war.
Wenn Ihnen jemand ein KI-System verkauft, ist die nützlichste Frage deshalb nicht, was es alles weiß. Sondern: Was passiert, wenn sich eine Information ändert — und wer merkt es?
Passend dazu: Claude Code · Beratung & Betreuung — Claude Code im Team einrichten, Abläufe automatisieren, Wissen übergeben. Ab 690 €, Workshop 490 € pro halbem Tag.
Wir sehen uns Ihren Fall einmal an und sagen Ihnen, was auffällt — kostenlos, auch wenn daraus kein Auftrag wird. Schreiben Sie an hello@mk-media.eu.