Честная ложь: понимание конфабуляции памяти у рефлексивных агентов

Аннотация

Агенты рефлексионного типа полагаются на самостоятельно генерируемые рефлексии в качестве памяти, неявно предполагая, что агенты могут точно диагностировать собственные ошибки. Мы показываем, что это допущение может систематически нарушаться: в средах ALFWorld и HumanEval агенты сохраняют уверенные, но неверные интерпретации задачи и продолжают действовать на их основе при повторных попытках, несмотря на то, что среда каждый раз сбрасывается к корректной постановке задачи. Мы называем такой режим отказа конфабуляцией памяти и вводим показатель повторения рефлексий (Reflection Repetition Rate, RRR) — метрику на основе журналов, выявляющую повторное использование ошибочного рефлексивного содержимого. С помощью RRR мы идентифицируем 16 «замороженных» сред в ALFWorld, где ни одно из 121 рефлексивных сообщений не содержит упоминания правильного целевого объекта, и 4 аналогичных случая в HumanEval. Наше решение заменяет открытую самодиагностику программным извлечением сигналов сбоя на уровне траектории, что увеличивает долю упоминаний правильного объекта с 0% до 86%, снижает RRR с 0,64 до 0,10 и позволяет решить 3 из 16 «замороженных» сред ALFWorld, что указывает на то, что рефлексивная память может укреплять ложные убеждения, а не исправлять их.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.