Eerlijk liegen: Het begrijpen van geheugenconfabulatie bij reflexieve agenten

Samenvatting

Reflexion-achtige agents vertrouwen op zelf gegenereerde reflecties als geheugen, waarbij impliciet wordt aangenomen dat agents hun eigen fouten accuraat kunnen diagnosticeren. Wij tonen aan dat deze aanname systematisch kan falen: in ALFWorld en HumanEval slaan agents zelfverzekerde maar onjuiste interpretaties van de taak op en blijven zij hiernaar handelen gedurende opeenvolgende pogingen, ondanks dat de omgeving telkens terugkeert naar de correcte taak. Deze faalmodus noemen wij geheugenconfabulatie en introduceren wij de Reflectieherhalingsratio (RRR), een op logs gebaseerde metriek die herhaaldelijk vertrouwen op onjuiste reflectieve inhoud detecteert. Met behulp van RRR identificeren wij 16 bevroren omgevingen in ALFWorld, waarin 0 van de 121 reflecties het juiste doelobject vermelden, en 4 analoge gevallen in HumanEval. Onze mitigatie vervangt open-einde zelfdiagnose door programmatische extractie van faalsignalen op trajectniveau, waardoor het aantal correcte objectvermeldingen stijgt van 0% naar 86%, de RRR daalt van 0,64 naar 0,10 en 3 van de 16 bevroren ALFWorld-omgevingen worden opgelost. Dit suggereert dat reflectief geheugen valse overtuigingen eerder versterkt dan corrigeert.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.