Aprendendo a Aprender no Momento do Teste: Agentes de Linguagem com Políticas de Adaptação Aprendíveis
Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies
April 2, 2026
Autores: Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi
cs.AI
Resumo
O Aprendizado em Tempo de Teste (TTL) permite que agentes de linguagem refinem iterativamente seu desempenho por meio de interações repetidas com o ambiente durante a inferência. O cerne do TTL é uma política de adaptação que atualiza a política do ator com base na experiência de episódios anteriores, melhorando assim o comportamento futuro. Os métodos existentes dependem de políticas de adaptação fixas e manuais, em vez de otimizá-las para melhorias subsequentes. Argumentamos que as políticas de adaptação ideais devem ser aprendidas a partir dos ambientes de tarefa, e não projetadas manualmente com base na intuição humana. Para alcançar isso, introduzimos o Meta-TTL, uma estrutura que formula a descoberta de políticas de adaptação eficazes como um problema de otimização bi-nível. Dentro desta estrutura, o loop interno executa o processo TTL padrão, medindo a eficácia com que uma política de adaptação candidata ajuda um agente a corrigir erros em episódios sequenciais. Guiado pelo desempenho do agente, o loop externo emprega uma busca evolutiva sobre uma distribuição diversificada de tarefas de treinamento para refinar iterativamente a política de adaptação. Avaliamos o Meta-TTL no Jericho e no WebArena-Lite em configurações de distribuição interna (ID) e externa (OOD), usando múltiplas bases de meta-agentes. Os resultados em ambos os benchmarks mostram que o Meta-TTL supera consistentemente as baselines manuais, sugerindo que a política de adaptação otimizada codifica estratégias transferíveis que generalizam além da distribuição de tarefas de treinamento.
English
Test-Time Learning (TTL) enables language agents to iteratively refine their performance through repeated interactions with the environment at inference time. At the core of TTL is an adaptation policy that updates the actor policy based on experience from previous episodes, thereby improving future behavior. Existing methods rely on fixed, hand-crafted adaptation policies rather than optimizing them for downstream improvement. We argue that optimal adaptation policies should be learned from task environments, not hand-engineered based on human intuition. To achieve this, we introduce Meta-TTL, a framework that formulates the discovery of effective adaptation policies as a bi-level optimization problem. Within this framework, the inner loop executes the standard TTL process, measuring how effectively a candidate adaptation policy helps an agent correct errors across sequential episodes. Guided by the agent's performance, the outer loop employs evolutionary search over a diverse distribution of training tasks to iteratively refine the adaptation policy. We evaluate Meta-TTL on Jericho and WebArena-Lite across both in-distribution (ID) and out-of-distribution (OOD) settings, using multiple meta-agent backbones. Results on both benchmarks show that Meta-TTL consistently outperforms hand-crafted baselines, suggesting that the optimized adaptation policy encodes transferable strategies that generalize beyond the training task distribution.