Ehrliches Lügen: Verständnis der Erinnerungskonfabulation in reflexiven Agenten

Zusammenfassung

Reflexion-artige Agenten verlassen sich auf selbstgenerierte Reflexionen als Gedächtnis und nehmen dabei implizit an, dass Agenten ihre eigenen Fehler genau diagnostizieren können. Wir zeigen, dass diese Annahme systematisch scheitern kann: Sowohl in ALFWorld als auch in HumanEval speichern Agenten selbstbewusste, aber falsche Interpretationen der Aufgabe und handeln weiterhin auf deren Grundlage über mehrere Versuche hinweg, obwohl die Umgebung sich jedes Mal auf die korrekte Aufgabe zurücksetzt. Wir bezeichnen diese Fehlerform als Gedächtniskonfabulation und führen die Reflexionswiederholungsrate (RRR) ein, eine protokollbasierte Metrik, die wiederholte Abhängigkeit von falschem reflexiven Inhalt erkennt. Mithilfe der RRR identifizieren wir 16 eingefrorene Umgebungen in ALFWorld, in denen 0 von 121 Reflexionen das korrekte Zielobjekt erwähnen, sowie 4 analoge Fälle in HumanEval. Unsere Abhilfe ersetzt die offene Selbstdiagnose durch eine programmatische Extraktion von Trajektorien-Fehlersignalen, erhöht die korrekte Objekterwähnung von 0% auf 86%, senkt die RRR von 0,64 auf 0,10 und löst 3 der 16 eingefrorenen ALFWorld-Umgebungen, was darauf hindeutet, dass reflexives Gedächtnis falsche Überzeugungen eher verstärken als korrigieren kann.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.