エージェント経験からのサンプル効率的学習

要旨

実世界のエージェント学習は、時間のかかる実験の実施や人間からのフィードバックの取得といった、高コストな環境相互作用によって制約されることが多い。インコンテキスト学習は、エージェントが自身の相互作用履歴から学習するための非常にサンプル効率的な方法を提供するが、その経験がコンテキストから取り除かれると、その利得は消失する。別途、コンテキスト蒸留は、コンテキスト情報をモデル重みに内面化するためのメカニズムを提供する。しかしながら、環境サンプル効率を犠牲にすることなく、これをエージェントの相互作用履歴に適用することは、未だ十分に研究されていない。我々はこの問題を経験蒸留（Experience Distillation）と名付け、収集された経験以外に追加の環境相互作用を必要としない実装を開発した。749の厳選されたソフトウェアエンジニアリングタスクと6つのテキストアドベンチャーゲームでの実験により、本手法が両ドメインにおいてインコンテキスト学習による利得の少なくとも64.8\%を保持する一方、収集された経験に対する直接的な教師ありファインチューニングではわずか3.8\%しか回復しないことが示された。古典的な強化学習ベースラインと比較して、試行錯誤経験からのインコンテキスト学習の後に経験蒸留を適用する手法は、環境サンプル数が少なくとも9.6分の1でそれらと同等の性能を達成する。

English

Real-world agent learning is often constrained by costly environment interactions, such as running time-consuming experiments or obtaining human feedback. In-context learning offers a highly sample-efficient way for agents to learn from their own interaction histories, but its gains disappear once that experience is removed from the context. Separately, context distillation provides a mechanism for internalizing contextual information into model weights. However, applying it to agents' interaction histories without sacrificing environment sample efficiency remains underexplored. We term this problem Experience Distillation and develop an implementation that requires no further environment interaction beyond the collected experience. Experiments on 749 curated software-engineering tasks and six text-adventure games show that it retains at least 64.8\% of the gains from in-context learning across both domains, whereas direct supervised fine-tuning on the collected experience recovers only 3.8\%. Compared with classical reinforcement-learning baselines, in-context learning from trial-and-error experience followed by Experience Distillation matches their performance with at least \(9.6\times\) fewer environment samples.