Mentira Honesta: Comprendiendo la Confabulación de la Memoria en Agentes Reflexivos

Resumen

Los agentes estilo Reflexion dependen de reflexiones autogeneradas como memoria, asumiendo implícitamente que los agentes pueden diagnosticar con precisión sus propios fallos. Demostramos que esta suposición puede fallar sistemáticamente: en ALFWorld y HumanEval, los agentes almacenan interpretaciones seguras pero incorrectas de la tarea y continúan actuando según ellas a lo largo de los ensayos, aunque el entorno se restablezca a la tarea correcta cada vez. Llamamos a este modo de fallo confabulación de memoria e introducimos la Tasa de Repetición de Reflexión (RRR, por sus siglas en inglés), una métrica basada en registros que detecta la dependencia repetida de contenido reflexivo incorrecto. Usando RRR, identificamos 16 entornos congelados en ALFWorld, donde 0 de 121 reflexiones mencionan el objeto objetivo correcto, y 4 casos análogos en HumanEval. Nuestra mitigación reemplaza el autodiagnóstico abierto con extracción programática de señales de fallo a nivel de trayectoria, aumentando la mención del objeto correcto del 0% al 86%, reduciendo el RRR de 0.64 a 0.10, y resolviendo 3 de los 16 entornos congelados de ALFWorld, lo que sugiere que la memoria reflexiva puede reforzar creencias falsas en lugar de corregirlas.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.