Agentes Experimentalistas Hierárquicos

Resumo

Modelos de linguagem de grande porte (LLMs) são cada vez mais utilizados para tomar ações no mundo real e apoiar a tomada de decisão humana, mas a maioria dos agentes depende de conhecimento paramétrico, dados fixos pós-treinamento, recuperação ou busca. Esse paradigma se rompe em domínios novos e para consultas sofisticadas que não podem ser respondidas apenas a partir de conhecimento prévio. Saber as leis da física, por exemplo, não permite por si só que LLMs respondam a consultas ou completem tarefas de longo horizonte em um sistema físico complexo. Para lidar com isso, apresentamos os Agentes Experimentalistas Hierárquicos (HExA), uma estrutura de autoaperfeiçoamento em contexto para aprender por meio de experimentação ativa. O HExA projeta e refina iterativamente experimentos relevantes para a consulta, aprende uma biblioteca reutilizável de habilidades combináveis a partir da experiência e integra evidências experimentais para responder a consultas ou tomar ações. O HExA não requer treinamento, é compatível com qualquer modelo de caixa-preta e não necessita de supervisão externa, oráculos ou dados offline. Para avaliar a experimentação ativa, apresentamos o Interphyre, um benchmark de chamada de ferramentas construído sobre o ambiente de física procedural 2D PHYRE, onde os agentes propõem intervenções e testam hipóteses por meio de APIs de simulação. Experimentos mostram que os atuais agentes LLM têm dificuldades nesses cenários, especialmente nos níveis mais difíceis do Interphyre. O Claude Sonnet 4.6 atinge apenas 2% de sucesso, enquanto o HExA melhora o mesmo modelo para até 77% de sucesso. O HExA também melhora modelos de pesos abertos e supera linhas de base agentivas como ReAct e Reflexion. Além disso, usando apenas habilidades aprendidas em níveis mais fáceis e transferidas sem experimentação ativa, o HExA alcança 44% de sucesso, demonstrando a reutilização e generalização de suas habilidades aprendidas. No geral, o HExA mostra que aprender por meio de experimentação ativa pode ajudar agentes a descobrir conhecimento útil, adquirir habilidades reutilizáveis e progredir de forma eficiente em novas tarefas de longo horizonte.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.