テストタイム学習の獲得：学習可能な適応ポリシーを持つ言語エージェント
Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies
April 2, 2026
著者: Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi
cs.AI
要旨
Test-Time Learning (TTL) は、言語エージェントが推論時に環境との反復的な相互作用を通じて、その性能を段階的に洗練させることを可能にする。TTLの核心は、過去のエピソードからの経験に基づいて行動方策を更新し、将来の振る舞いを改善する適応方策にある。既存手法は、下流タスクの改善に向けて最適化するのではなく、固定された人手設計の適応方策に依存している。我々は、最適な適応方策は人間の直感に基づいて人手設計されるのではなく、タスク環境から学習されるべきであると主張する。これを実現するため、効果的な適応方策の発見を二段階最適化問題として定式化するフレームワーク、Meta-TTLを提案する。このフレームワーク内では、内側のループが標準的なTTLプロセスを実行し、候補となる適応方策が連続するエピソード間でエージェントの誤りをどの程度効果的に修正するかを測定する。エージェントの性能に導かれて、外側のループは多様な訓練タスク分布上で進化的探索を用い、適応方策を反復的に改良する。我々は、複数のメタエージェント基盤モデルを用い、JerichoおよびWebArena-Liteにおいて、分布内（ID）と分布外（OOD）の両設定でMeta-TTLを評価する。両ベンチマークにおける結果は、Meta-TTLが人手設計のベースラインを一貫して上回ることを示しており、最適化された適応方策が、訓練タスク分布を超えて一般化する転移可能な戦略を符号化していることを示唆する。
English
Test-Time Learning (TTL) enables language agents to iteratively refine their performance through repeated interactions with the environment at inference time. At the core of TTL is an adaptation policy that updates the actor policy based on experience from previous episodes, thereby improving future behavior. Existing methods rely on fixed, hand-crafted adaptation policies rather than optimizing them for downstream improvement. We argue that optimal adaptation policies should be learned from task environments, not hand-engineered based on human intuition. To achieve this, we introduce Meta-TTL, a framework that formulates the discovery of effective adaptation policies as a bi-level optimization problem. Within this framework, the inner loop executes the standard TTL process, measuring how effectively a candidate adaptation policy helps an agent correct errors across sequential episodes. Guided by the agent's performance, the outer loop employs evolutionary search over a diverse distribution of training tasks to iteratively refine the adaptation policy. We evaluate Meta-TTL on Jericho and WebArena-Lite across both in-distribution (ID) and out-of-distribution (OOD) settings, using multiple meta-agent backbones. Results on both benchmarks show that Meta-TTL consistently outperforms hand-crafted baselines, suggesting that the optimized adaptation policy encodes transferable strategies that generalize beyond the training task distribution.