継続的LLM改善のためのChain-of-Experience

要旨

人間は経験から継続的に学習する一方、従来の大規模言語モデル（LLM）評価は、推論時（テスト時）の相互作用を通じてモデルが改善する能力を考慮していない。本稿では、テスト時にLLMが反復的な経験から学習する仕組みを研究する。この設定をChain-of-Experience（CoE）と呼び、モデルは自己フィードバックや環境フィードバックとの反復的な相互作用を通じて経験トレースを蓄積し、ゼロショット推論を超えた継続的改善ループを形成する。我々はCoEを、モデル自己フィードバックや正誤、公開コーディングテストの合格率などの環境シグナルを含む多様なフィードバック機構として具体化し、GPT-5、Gemini-2.5 Pro、Claude-4.5 Sonnetを含む8つのLLMを用いて、数学・コーディング・知識領域にわたって評価する。本研究は、反復的な経験の活用がフィードバックなしのベースラインを一貫して上回ることを示し、自己フィードバックのみでも大きな利得を達成し、タスクとモデル全体で平均5.6%の改善と19%のAPIコスト削減を実現する。さらに、相補的なフィードバックチャネル（例：モデルシグナルと正誤シグナル）の組み合わせが追加の利得をもたらすこと、およびCoEが既存のテスト時戦略よりもトークン当たりの精度が高いことを示す。また、LLMの基礎能力と改善能力の間に正の相関があることを観察し、弱いまたは誤ったフィードバックの下でもモデルが頑健であることを示す。異なるフィードバックは異なる改善側面に寄与し、ほとんどの利得は反復の初期に現れる。

English

Humans continuously learn from experience, whereas conventional large language model (LLM) evaluations ignore the models' ability to improve through inference-time interaction. In this paper, we study how LLMs learn from iterative experience at test time, a setting we refer to as Chain-of-Experience (CoE), where models accumulate experiential traces through iterative interactions with self or environmental feedback to form a continual improvement loop beyond zero-shot inference. We instantiate CoE with diverse feedback mechanisms, including model self-feedback and environmental signals such as correctness or public coding test pass rates, and evaluate across math, coding, and knowledge domains using 8 LLMs, including GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet. Our study shows that leveraging iterative experience consistently outperforms feedback-free baselines, achieving substantial gains with self feedback alone, alongside a 5.6% overall improvement and 19% lower API cost across tasks and models. We further show that combining complementary feedback channels (e.g., model and correctness signals) yields additional gains, and that CoE delivers higher accuracy per token than existing test-time strategies. We observe a positive correlation between LLM base ability and improvement capacity, and show that models remain robust under weak or spurious feedback, with different feedback contributing to distinct improvement aspects and most gains emerging early in the iterations.