Mentira Honesta: Compreendendo a Confabulação de Memória em Agentes Reflexivos

Resumo

Agentes no estilo Reflexion dependem de reflexões autogeradas como memória, assumindo implicitamente que os agentes conseguem diagnosticar com precisão seus próprios fracassos. Demonstramos que essa suposição pode falhar sistematicamente: tanto no ALFWorld quanto no HumanEval, os agentes armazenam interpretações confiantes, porém incorretas, da tarefa e continuam agindo com base nelas ao longo de múltiplas tentativas, mesmo que o ambiente seja reiniciado para a tarefa correta a cada vez. Denominamos esse modo de falha de confabulação de memória e introduzimos a Taxa de Repetição de Reflexão (TRR), uma métrica baseada em logs que detecta a dependência repetida de conteúdo reflexivo incorreto. Usando a TRR, identificamos 16 ambientes congelados no ALFWorld, nos quais 0 de 121 reflexões mencionam o objeto-alvo correto, e 4 casos análogos no HumanEval. Nossa mitigação substitui o autodiagnóstico aberto por extração programática de sinais de falha no nível da trajetória, aumentando a menção correta ao objeto de 0% para 86%, reduzindo a TRR de 0,64 para 0,10 e resolvendo 3 dos 16 ambientes congelados do ALFWorld, sugerindo que a memória reflexiva pode reforçar crenças falsas em vez de corrigi-las.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.