지속적 LLM 개선을 위한 Chain-of-Experience

초록

인간은 경험으로부터 지속적으로 학습하는 반면, 기존의 대규모 언어 모델(LLM) 평가는 추론 시점의 상호작용을 통한 모델의 개선 능력을 무시한다. 본 논문에서는 테스트 시점에 LLM이 반복적 경험으로부터 학습하는 방식을 연구하는데, 이를 경험의 사슬(Chain-of-Experience, CoE)이라 명명한다. CoE는 모델이 자기 자신 또는 환경적 피드백과의 반복적 상호작용을 통해 경험적 흔적을 축적함으로써 제로샷 추론을 넘어서는 지속적 개선 루프를 형성하는 설정이다. 우리는 모델 자기 피드백과 정답 여부 또는 공개 코딩 테스트 통과율과 같은 환경적 신호를 포함한 다양한 피드백 메커니즘으로 CoE를 구현하고, GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet을 포함한 8개의 LLM을 사용하여 수학, 코딩, 지식 영역에 걸쳐 평가한다. 본 연구는 반복적 경험의 활용이 피드백이 없는 기준선을 일관되게 능가하며, 자기 피드백만으로도 상당한 성능 향상을 달성하고, 전체적으로 작업 및 모델 전반에 걸쳐 5.6%의 성능 개선과 19%의 API 비용 절감을 보여준다. 또한 상호보완적인 피드백 채널(예: 모델 피드백과 정답 신호)의 결합이 추가적 이득을 제공하며, CoE가 기존 테스트 시점 전략보다 토큰당 더 높은 정확도를 제공함을 입증한다. 우리는 LLM의 기본 능력과 개선 능력 사이에 양의 상관관계가 있음을 관찰하고, 모델이 약하거나 허위적인 피드백 하에서도 견고성을 유지하며, 서로 다른 피드백이 각기 다른 개선 측면에 기여하고 대부분의 이득이 반복 초기에 나타난다는 점을 보여준다.

English

Humans continuously learn from experience, whereas conventional large language model (LLM) evaluations ignore the models' ability to improve through inference-time interaction. In this paper, we study how LLMs learn from iterative experience at test time, a setting we refer to as Chain-of-Experience (CoE), where models accumulate experiential traces through iterative interactions with self or environmental feedback to form a continual improvement loop beyond zero-shot inference. We instantiate CoE with diverse feedback mechanisms, including model self-feedback and environmental signals such as correctness or public coding test pass rates, and evaluate across math, coding, and knowledge domains using 8 LLMs, including GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet. Our study shows that leveraging iterative experience consistently outperforms feedback-free baselines, achieving substantial gains with self feedback alone, alongside a 5.6% overall improvement and 19% lower API cost across tasks and models. We further show that combining complementary feedback channels (e.g., model and correctness signals) yields additional gains, and that CoE delivers higher accuracy per token than existing test-time strategies. We observe a positive correlation between LLM base ability and improvement capacity, and show that models remain robust under weak or spurious feedback, with different feedback contributing to distinct improvement aspects and most gains emerging early in the iterations.