Agentes experimentalistas jerárquicos

Resumen

Los modelos de lenguaje grandes (LLMs) se utilizan cada vez más para tomar acciones en el mundo real y apoyar la toma de decisiones humanas, sin embargo la mayoría de los agentes dependen de conocimiento paramétrico, datos fijos posteriores al entrenamiento, recuperación o búsqueda. Este paradigma se desmorona en dominios novedosos y para consultas sofisticadas que no pueden responderse solo a partir del conocimiento previo. Conocer las leyes de la física, por ejemplo, no permite por sí mismo que los LLMs respondan consultas o completen tareas de largo horizonte en un sistema físico complejo. Para abordar esto, presentamos Agentes Experimentalistas Jerárquicos (HExA), un marco de auto-mejora en contexto para aprender mediante experimentación activa. HExA diseña y refina iterativamente experimentos relevantes a la consulta, aprende una biblioteca reutilizable de habilidades componibles a partir de la experiencia, e integra evidencia experimental para responder consultas o tomar acciones. HExA no requiere entrenamiento, es compatible con cualquier modelo de caja negra, y no necesita supervisión externa, oráculos ni datos fuera de línea. Para evaluar la experimentación activa, presentamos Interphyre, un punto de referencia de invocación de herramientas construido sobre el entorno de física procedimental 2D PHYRE, donde los agentes proponen intervenciones y prueban hipótesis a través de APIs de simulación. Los experimentos muestran que los agentes LLM actuales tienen dificultades en estos entornos, especialmente en los niveles más difíciles de Interphyre. Claude Sonnet 4.6 alcanza solo un 2% de éxito, mientras que HExA mejora el mismo modelo hasta un 77% de éxito. HExA también mejora modelos de pesos abiertos y supera líneas base agentivas como ReAct y Reflexion. Además, utilizando solo habilidades aprendidas de niveles más fáciles y transferidas sin experimentación activa, HExA logra un 44% de éxito, demostrando la reutilización y generalización de sus habilidades aprendidas. En general, HExA muestra que el aprendizaje mediante experimentación activa puede ayudar a los agentes a descubrir conocimiento útil, adquirir habilidades reutilizables y progresar eficientemente en tareas novedosas de largo horizonte.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.