정직한 거짓말: 반성적 에이전트에서의 기억 왜곡 이해하기

초록

Reflexion 스타일 에이전트는 스스로 생성한 반성(reflection)을 기억으로 활용하며, 에이전트가 자신의 실패를 정확히 진단할 수 있다는 가정을 암묵적으로 내포한다. 우리는 이 가정이 체계적으로 실패할 수 있음을 보여준다. ALFWorld와 HumanEval 전반에서 에이전트는 확신에 차 있지만 부정확한 작업 해석을 저장하고, 환경이 매 시행마다 올바른 작업으로 재설정됨에도 불구하고 여러 시행에 걸쳐 해당 해석을 바탕으로 계속 행동한다. 우리는 이러한 실패 패턴을 기억 오류(memory confabulation)라고 명명하고, 부정확한 반성 내용에 대한 반복적 의존을 탐지하는 로그 기반 지표인 반성 반복률(Reflection Repetition Rate, RRR)을 도입한다. RRR을 사용하여 ALFWorld에서 16개의 고정(frozen) 환경을 식별했는데, 해당 환경에서는 121개의 반성 중 올바른 대상 객체를 언급한 경우가 0건이었으며, HumanEval에서도 유사한 사례 4건을 발견했다. 우리의 완화 방안은 개방형 자기 진단을 궤적 수준의 실패 신호에 대한 프로그램적 추출로 대체하여, 올바른 객체 언급률을 0%에서 86%로 향상시키고 RRR을 0.64에서 0.10으로 감소시켰으며, 16개의 고정된 ALFWorld 환경 중 3개를 해결하였다. 이는 반성적 기억이 잘못된 신념을 교정하기보다 오히려 강화할 수 있음을 시사한다.

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.