Apprendre à apprendre au moment du test : agents linguistiques dotés de politiques d'adaptation apprenables
Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies
April 2, 2026
Auteurs: Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi
cs.AI
Résumé
L'apprentissage au moment du test (TTL) permet aux agents linguistiques d'affiner itérativement leurs performances grâce à des interactions répétées avec l'environnement lors de l'inférence. Au cœur du TTL se trouve une politique d'adaptation qui met à jour la politique de l'acteur sur la base de l'expérience tirée des épisodes précédents, améliorant ainsi le comportement futur. Les méthodes existantes reposent sur des politiques d'adaptation fixes et artisanales plutôt que de les optimiser pour une amélioration en aval. Nous soutenons que les politiques d'adaptation optimales devraient être apprises à partir des environnements de tâche, et non conçues manuellement sur la base de l'intuition humaine. Pour y parvenir, nous présentons Meta-TTL, un cadre qui formule la découverte de politiques d'adaptation efficaces comme un problème d'optimisation bi-niveaux. Dans ce cadre, la boucle interne exécute le processus TTL standard, mesurant dans quelle mesure une politique d'adaptation candidate aide un agent à corriger les erreurs sur une séquence d'épisodes. Guidée par les performances de l'agent, la boucle externe utilise une recherche évolutive sur une distribution diversifiée de tâches d'entraînement pour affiner itérativement la politique d'adaptation. Nous évaluons Meta-TTL sur Jericho et WebArena-Lite dans des contextes de distribution interne (ID) et externe (OOD), en utilisant plusieurs architectures méta-agents. Les résultats sur les deux benchmarks montrent que Meta-TTL surpasse systématiquement les lignes de base artisanales, suggérant que la politique d'adaptation optimisée encode des stratégies transférables qui généralisent au-delà de la distribution des tâches d'entraînement.
English
Test-Time Learning (TTL) enables language agents to iteratively refine their performance through repeated interactions with the environment at inference time. At the core of TTL is an adaptation policy that updates the actor policy based on experience from previous episodes, thereby improving future behavior. Existing methods rely on fixed, hand-crafted adaptation policies rather than optimizing them for downstream improvement. We argue that optimal adaptation policies should be learned from task environments, not hand-engineered based on human intuition. To achieve this, we introduce Meta-TTL, a framework that formulates the discovery of effective adaptation policies as a bi-level optimization problem. Within this framework, the inner loop executes the standard TTL process, measuring how effectively a candidate adaptation policy helps an agent correct errors across sequential episodes. Guided by the agent's performance, the outer loop employs evolutionary search over a diverse distribution of training tasks to iteratively refine the adaptation policy. We evaluate Meta-TTL on Jericho and WebArena-Lite across both in-distribution (ID) and out-of-distribution (OOD) settings, using multiple meta-agent backbones. Results on both benchmarks show that Meta-TTL consistently outperforms hand-crafted baselines, suggesting that the optimized adaptation policy encodes transferable strategies that generalize beyond the training task distribution.