agents expérimentateurs hiérarchiques

Résumé

Les grands modèles de langage (LLMs) sont de plus en plus utilisés pour agir dans le monde réel et soutenir la prise de décision humaine, mais la plupart des agents reposent sur des connaissances paramétriques, des données post-entraînement fixes, la recherche ou le requêtage. Ce paradigme échoue dans des domaines nouveaux et pour des requêtes sophistiquées qui ne peuvent être résolues à partir des seules connaissances antérieures. Par exemple, connaître les lois de la physique ne permet pas en soi aux LLMs de répondre à des requêtes ou d’accomplir des tâches à long horizon dans un système physique complexe. Pour y remédier, nous présentons HExA (Hierarchical Experimentalist Agents), un cadre d’auto-amélioration en contexte conçu pour apprendre par l’expérimentation active. HExA conçoit et affine de manière itérative des expériences pertinentes pour la requête, construit une bibliothèque réutilisable de compétences composables tirées de l’expérience, et intègre les preuves expérimentales pour répondre aux requêtes ou agir. HExA ne nécessite aucun entraînement, est compatible avec tout modèle boîte noire et ne dépend d’aucune supervision externe, oracle ou donnée hors ligne. Pour évaluer l’expérimentation active, nous introduisons Interphyre, un benchmark d’appel d’outils fondé sur l’environnement physique procédural 2D PHYRE, où les agents proposent des interventions et testent des hypothèses via des API de simulation. Les expériences montrent que les agents LLM actuels peinent dans ces contextes, en particulier sur les niveaux les plus difficiles d’Interphyre. Claude Sonnet 4.6 n’atteint que 2 % de réussite, tandis que HExA améliore ce même modèle jusqu’à 77 % de réussite. HExA améliore également les modèles à poids ouverts et surpasse les références agentiques telles que ReAct et Reflexion. De plus, en utilisant uniquement des compétences apprises sur des niveaux plus faciles et transférées sans expérimentation active, HExA atteint 44 % de réussite, démontrant la réutilisabilité et la généralisation de ses compétences acquises. Dans l’ensemble, HExA montre qu’apprendre par l’expérimentation active peut aider les agents à découvrir des connaissances utiles, acquérir des compétences réutilisables et progresser efficacement sur de nouvelles tâches à long horizon.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.