言語モデルのためのオンライン体験型学習

Online Experiential Learning for Language Models

March 17, 2026

著者: Tianzhu Ye, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

cs.AI

要旨

大規模言語モデルの改善における従来のパラダイムは、人間による注釈やシミュレーション環境を用いたオフライン学習に依存しており、実世界でのデプロイを通じて蓄積される豊富な経験が十分に活用されていない。本論文では、言語モデルが自身のデプロイ経験から継続的に改善することを可能にする枠組み「Online Experiential Learning (OEL)」を提案する。OELは2段階で動作する。まず、ユーザー側で収集されたインタラクション軌跡から転移可能な経験的知識を抽出・蓄積する。次に、この知識をオンポリシー文脈蒸留によりモデルパラメータに統合する。この過程ではユーザー側環境へのアクセスを必要としない。これら2段階を反復することでオンライン学習ループを形成し、改善されたモデルはより高品質な軌跡を収集し、次の学習サイクルにより豊富な経験的知識を提供する。テキストベースゲーム環境を用い、複数のモデル規模、ならびに思考プロセスあり/なしの両変種においてOELを評価した。その結果、OELは反復を重ねるごとに一貫した改善を示し、タスク精度とトークン効率を向上させるとともに、分布外データに対する性能も維持した。さらに分析により、抽出された経験的知識は生の軌跡よりもはるかに効果的であり、知識源と方策モデル間のオンポリシー一貫性が効果的な学習に不可欠であることが示された。

English

The prevailing paradigm for improving large language models relies on offline training with human annotations or simulated environments, leaving the rich experience accumulated during real-world deployment entirely unexploited. We propose Online Experiential Learning (OEL), a framework that enables language models to continuously improve from their own deployment experience. OEL operates in two stages: first, transferable experiential knowledge is extracted and accumulated from interaction trajectories collected on the user side; second, this knowledge is consolidated into model parameters via on-policy context distillation, requiring no access to the user-side environment. The two stages are iterated to form an online learning loop, where the improved model collects higher-quality trajectories that yield richer experiential knowledge for subsequent rounds. We evaluate OEL on text-based game environments across multiple model scales and both thinking and non-thinking variants. OEL achieves consistent improvements over successive iterations, enhancing both task accuracy and token efficiency while preserving out-of-distribution performance. Our analysis further shows that extracted experiential knowledge is significantly more effective than raw trajectories, and that on-policy consistency between the knowledge source and the policy model is critical for effective learning.