Hierarchische Experimentalisten-Agenten

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) werden zunehmend eingesetzt, um in der realen Welt zu handeln und menschliche Entscheidungen zu unterstützen. Dennoch stützen sich die meisten Agenten auf parametrisches Wissen, feste nachtrainierte Daten, Abruf (Retrieval) oder Suche. Dieses Paradigma versagt in neuartigen Bereichen und bei komplexen Anfragen, die nicht allein aus vorhandenem Wissen beantwortet werden können. Die Kenntnis der physikalischen Gesetze allein befähigt LLMs beispielsweise nicht, Anfragen zu beantworten oder langfristige Aufgaben in einem komplexen physikalischen System zu bewältigen. Um dies zu adressieren, führen wir Hierarchical Experimentalist Agents (HExA) ein, ein im Kontext stattfindendes Selbstverbesserungs-Framework, das durch aktive Experimentierung lernt. HExA entwirft und verfeinert iterativ anfragenrelevante Experimente, erlernt eine wiederverwendbare Bibliothek zusammensetzbarer Fähigkeiten aus Erfahrungen und integriert experimentelle Belege, um Anfragen zu beantworten oder Aktionen durchzuführen. HExA ist trainingsfrei, mit jedem Black-Box-Modell kompatibel und benötigt keine externe Aufsicht, Orakel oder Offline-Daten. Zur Evaluierung aktiver Experimentierung führen wir Interphyre ein, einen Tool-Calling-Benchmark, der auf der prozeduralen 2D-Physikumgebung PHYRE aufbaut. Hierbei schlagen Agenten Interventionen vor und testen Hypothesen über Simulations-APIs. Experimente zeigen, dass aktuelle LLM-Agenten in diesen Umgebungen Schwierigkeiten haben, insbesondere auf den schwierigsten Leveln von Interphyre. Claude Sonnet 4.6 erreicht lediglich 2% Erfolg, während HExA dasselbe Modell auf bis zu 77% Erfolg verbessert. HExA verbessert zudem Open-Weight-Modelle und übertrifft agentische Basislinien wie ReAct und Reflexion. Darüber hinaus erreicht HExA allein durch Fähigkeiten, die auf leichteren Leveln erlernt und ohne aktive Experimentierung übertragen werden, 44% Erfolg – ein Beleg für die Wiederverwendbarkeit und Generalisierung seiner erlernten Fähigkeiten. Insgesamt zeigt HExA, dass Lernen durch aktive Experimentierung Agenten helfen kann, nützliches Wissen zu entdecken, wiederverwendbare Fähigkeiten zu erwerben und effiziente Fortschritte bei neuartigen langfristigen Aufgaben zu erzielen.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.