Le mensonge honnête : Comprendre la confabulation mnésique chez les agents réflexifs

Résumé

Les agents de type Réflexion s'appuient sur des réflexions auto-générées comme mémoire, supposant implicitement que les agents peuvent diagnostiquer avec précision leurs propres échecs. Nous montrons que cette hypothèse peut échouer de manière systématique : dans ALFWorld et HumanEval, les agents stockent des interprétations confiantes mais incorrectes de la tâche et continuent d'agir en fonction de celles-ci à travers les essais, même si l'environnement se réinitialise à la tâche correcte à chaque fois. Nous appelons ce mode de défaillance la confabulation de mémoire et introduisons le taux de répétition des réflexions (RRR), une métrique basée sur les logs qui détecte une dépendance répétée à un contenu réflexif incorrect. En utilisant le RRR, nous identifions 16 environnements figés dans ALFWorld, où 0 réflexion sur 121 mentionne l'objet cible correct, et 4 cas analogues dans HumanEval. Notre atténuation remplace l'auto-diagnostic ouvert par une extraction programmatique des signaux d'échec au niveau de la trajectoire, augmentant la mention correcte de l'objet de 0 % à 86 %, réduisant le RRR de 0,64 à 0,10, et résolvant 3 des 16 environnements figés d'ALFWorld, suggérant que la mémoire réflexive peut renforcer des croyances erronées plutôt que les corriger.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.