에이전트 경험으로부터의 샘플 효율적 학습

초록

실제 환경에서 에이전트의 학습은 시간 소모적인 실험 수행이나 인간 피드백 획득과 같은 비용이 많이 드는 환경 상호작용에 의해 제약되는 경우가 많다. 맥락 내 학습(in-context learning)은 에이전트가 자신의 상호작용 이력으로부터 학습할 수 있는 매우 샘플 효율적인 방법을 제공하지만, 해당 경험이 맥락에서 제거되면 그 이점이 사라진다. 한편, 맥락 증류(context distillation)는 맥락 정보를 모델 가중치 내부로 내재화하는 메커니즘을 제공한다. 그러나 이를 환경 샘플 효율성을 희생하지 않으면서 에이전트의 상호작용 이력에 적용하는 방법은 아직 충분히 탐구되지 않았다. 우리는 이 문제를 경험 증류(Experience Distillation)라고 명명하고, 수집된 경험 이상의 추가 환경 상호작용이 필요 없는 구현을 개발한다. 749개의 선별된 소프트웨어 엔지니어링 과제와 6개의 텍스트 어드벤처 게임에 대한 실험 결과, 이 방법은 두 도메인 모두에서 맥락 내 학습으로 얻은 이점의 최소 64.8%를 유지한 반면, 수집된 경험에 대한 직접적인 지도 미세 조정(supervised fine-tuning)은 3.8%만 회복했다. 고전적인 강화 학습 기준선과 비교했을 때, 시행착오 경험으로부터의 맥락 내 학습 후 경험 증류를 적용한 방법은 최소 \(9.6\times\) 적은 환경 샘플로 동일한 성능에 도달한다.

English

Real-world agent learning is often constrained by costly environment interactions, such as running time-consuming experiments or obtaining human feedback. In-context learning offers a highly sample-efficient way for agents to learn from their own interaction histories, but its gains disappear once that experience is removed from the context. Separately, context distillation provides a mechanism for internalizing contextual information into model weights. However, applying it to agents' interaction histories without sacrificing environment sample efficiency remains underexplored. We term this problem Experience Distillation and develop an implementation that requires no further environment interaction beyond the collected experience. Experiments on 749 curated software-engineering tasks and six text-adventure games show that it retains at least 64.8\% of the gains from in-context learning across both domains, whereas direct supervised fine-tuning on the collected experience recovers only 3.8\%. Compared with classical reinforcement-learning baselines, in-context learning from trial-and-error experience followed by Experience Distillation matches their performance with at least \(9.6\times\) fewer environment samples.