Wenn das KI-Gedächtnis an dem festhält, was nicht mehr gilt

Wenn eine alte Priorität zurückkehrt

Stellen wir uns ein Unternehmen vor, das seine Strategie ändert. Zwei Jahre lang standen Großkunden im Mittelpunkt. Nun konzentriert es sich auf kleine und mittlere Unternehmen. Die Entscheidung wurde getroffen, erläutert und dokumentiert.

Einige Wochen später erstellt sein KI-Assistent einen Akquiseplan. Er empfiehlt Großkunden. Er hat Präsentationen, Protokolle und Vertriebsziele gefunden, die alle auf diese Priorität verweisen. Sie sind zahlreich, präzise und vollkommen authentisch.

Und überholt.

Der Assistent hat nichts erfunden. Er hat Informationen genutzt, die ihre maßgebliche Gültigkeit verloren hatten. In diesem Beispiel bremst das Gedächtnis den Wandel.

Richtige Informationen können zu falschen Entscheidungen führen

Wir erwarten viel vom Gedächtnis der KI: dass es Dokumente wiederfindet, Vorlieben behält und uns erspart, bereits Erklärtes zu wiederholen.

Doch eine Vorliebe kann sich ändern. Eine Anweisung kann zurückgezogen, eine Entscheidung ersetzt werden. Lange als sicher geltende Informationen können umstritten werden.

Die Frage „Erinnert sich die KI daran?“ lässt eine weitere offen: „Weiß sie noch, unter welchen Umständen sie diese Information verwenden darf?“

Was gestern galt, gehört zu unserer Geschichte. Was heute eine Handlung leiten kann, erfordert eine zusätzliche Prüfung.

Richtiges Vergessen messen lernen

Die Arbeit From Recall to Forgetting von Md Nayem Uddin und seinen Mitautoren untersucht genau diese Schwierigkeit. Ihr Benchmark Memora konfrontiert Agenten mit simulierten Gesprächen, in denen Erinnerungen hinzugefügt, geändert und gelöscht werden. Ihre Metrik FAMA wertet die erneute Verwendung ungültig gewordener Informationen negativ.

In ihrer Analyse von 25 Empfehlungsfehlern des für diese Aufgabe besten Agenten gingen 16 auf nicht vergessene, veraltete Informationen zurück. Das Ergebnis betrifft eine kleine Fehlerstichprobe, nicht sämtliche Antworten oder alle KI-Systeme. Die Gespräche sind synthetisch, die Bewertung stützt sich weitgehend auf automatisierte Beurteiler. Dennoch zeigt sich ein konkretes Versagen, das reine Abrufprüfungen übersehen können.

Darin sehe ich eine zusätzliche Vertrauensanforderung: zu prüfen, ob ein Gedächtnis ausdrücklich für ungültig erklärte Inhalte nicht mehr heranzieht.

Eine Spur bewahren, ihr die Autorität entziehen

Sollten alte Entscheidungen deshalb gelöscht werden? Oft ginge verloren, was einen Entwicklungsweg verständlich macht.

In einem Unternehmen kann eine aufgegebene Strategie eine Investition oder Organisationsform erklären. In einer Familiengeschichte kann eine korrigierte Aussage zeigen, wie eine Erzählung entstanden ist. In persönlichen Notizen kann ein verworfenes Projekt ein wichtiger Schritt bleiben.

Für Mnemory möchte ich folgende Unterscheidung untersuchen: Eine Spur kann ihren historischen Wert behalten und zugleich ihre Autorität über die Gegenwart verlieren.

Die frühere Strategie unseres Unternehmens könnte die Frage „Warum haben wir dieses Team eingestellt?“ beantworten. Die Antwort auf „Wen sollten wir morgen ansprechen?“ dürfte sie nicht mehr bestimmen.

Dafür müssen Geltungsbereich, Herkunft und die Entscheidungen bekannt sein, die den Status einer Information verändert haben. Ebenso müssen Löschwünsche respektiert werden: Grundsätzlich eine Archivkopie aufzubewahren darf nicht die Standardantwort sein.

Wer entscheidet, was nicht mehr gilt?

Die neueste Nachricht wird nicht automatisch zur Wahrheit.

Eine Bemerkung kann eine Hypothese sein. Ein Widerspruch kann zwei unterschiedliche Situationen widerspiegeln. Zwei Menschen können abweichende Erinnerungen haben, ohne dass die Maschine sie gegeneinander abwägen könnte.

Eine KI könnte melden: „Diese neue Anweisung scheint der vorherigen zu widersprechen. Ersetzt sie diese?“ Die Antwort sollte von der Person kommen, die zu dieser Entscheidung befugt ist.

Für Mnemory Knowledge eröffnet das eine Diskussion über die Autorität von Entscheidungen und Verfahren. Für Legacy über das Nebeneinander von Aussagen und Korrekturen. Für Notes über unsere Fähigkeit, Projekte weiterzuentwickeln, ohne ständig auf frühere Absichten zurückgeführt zu werden.

Dies sind Gestaltungsprinzipien, die untersucht und erprobt werden müssen. Hier werden keine bereits verfügbaren Funktionen angekündigt.

Ein Gedächtnis, das Wandel begleitet

Der Test könnte einfach beginnen: einem Assistenten eine Anweisung geben, sie ausdrücklich ersetzen und anschließend mehrere Situationen vorlegen, in denen die alte Anweisung früher relevant gewesen wäre.

Wendet er die neue Entscheidung an? Fragt er nach, wenn der Geltungsbereich unklar bleibt? Führt er die alte Anweisung aus einer nicht aktualisierten Zusammenfassung wieder ein?

Diese Verhaltensweisen müssten gemeinsam gemessen werden. Ein Assistent, der gar nicht mehr antwortet, vermeidet vielleicht veraltete Erinnerungen, besitzt deshalb aber noch kein nützliches Gedächtnis. Einige bestandene Tests würden ebenso wenig garantieren, dass keinerlei Resteinfluss bleibt.

Mich interessiert ein Gedächtnis, auf das wir zählen können, wenn sich unsere Meinung, unsere Richtung oder unser Verständnis ändern.

Ein vertrauenswürdiges Gedächtnis muss uns Entwicklung ermöglichen, ohne uns in dem einzuschließen, was wir einmal waren.