Aprendiendo a Aprender en el Momento de la Prueba: Agentes Lingüísticos con Políticas de Adaptación Entrenables
Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies
April 2, 2026
Autores: Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi
cs.AI
Resumen
El Aprendizaje en Tiempo de Prueba (TTL, por sus siglas en inglés) permite a los agentes de lenguaje refinar iterativamente su rendimiento mediante interacciones repetidas con el entorno durante la inferencia. El núcleo del TTL es una política de adaptación que actualiza la política del actor basándose en la experiencia de episodios anteriores, mejorando así el comportamiento futuro. Los métodos existentes dependen de políticas de adaptación fijas y diseñadas manualmente, en lugar de optimizarlas para la mejora en tareas posteriores. Sostenemos que las políticas de adaptación óptimas deberían aprenderse de los entornos de tareas, y no ser diseñadas manualmente basándose en la intuición humana. Para lograrlo, presentamos Meta-TTL, un marco de trabajo que formula el descubrimiento de políticas de adaptación efectivas como un problema de optimización bi-nivel. Dentro de este marco, el bucle interno ejecuta el proceso TTL estándar, midiendo la eficacia con la que una política de adaptación candidata ayuda a un agente a corregir errores a lo largo de episodios secuenciales. Guiado por el rendimiento del agente, el bucle externo emplea una búsqueda evolutiva sobre una distribución diversa de tareas de entrenamiento para refinar iterativamente la política de adaptación. Evaluamos Meta-TTL en Jericho y WebArena-Lite, tanto en configuraciones de distribución interna (ID) como de distribución externa (OOD), utilizando múltiples arquitecturas base para el meta-agente. Los resultados en ambos benchmarks muestran que Meta-TTL supera consistentemente a los baselines diseñados manualmente, lo que sugiere que la política de adaptación optimizada codifica estrategias transferibles que generalizan más allá de la distribución de tareas de entrenamiento.
English
Test-Time Learning (TTL) enables language agents to iteratively refine their performance through repeated interactions with the environment at inference time. At the core of TTL is an adaptation policy that updates the actor policy based on experience from previous episodes, thereby improving future behavior. Existing methods rely on fixed, hand-crafted adaptation policies rather than optimizing them for downstream improvement. We argue that optimal adaptation policies should be learned from task environments, not hand-engineered based on human intuition. To achieve this, we introduce Meta-TTL, a framework that formulates the discovery of effective adaptation policies as a bi-level optimization problem. Within this framework, the inner loop executes the standard TTL process, measuring how effectively a candidate adaptation policy helps an agent correct errors across sequential episodes. Guided by the agent's performance, the outer loop employs evolutionary search over a diverse distribution of training tasks to iteratively refine the adaptation policy. We evaluate Meta-TTL on Jericho and WebArena-Lite across both in-distribution (ID) and out-of-distribution (OOD) settings, using multiple meta-agent backbones. Results on both benchmarks show that Meta-TTL consistently outperforms hand-crafted baselines, suggesting that the optimized adaptation policy encodes transferable strategies that generalize beyond the training task distribution.