Иерархические экспериментальные агенты

Аннотация

Большие языковые модели (LLM) все чаще используются для выполнения действий в реальном мире и поддержки принятия решений человеком, однако большинство агентов полагается на параметрическое знание, фиксированные данные после обучения, поиск или извлечение информации. Эта парадигма не работает в новых областях и для сложных запросов, которые невозможно ответить, опираясь исключительно на предварительные знания. Например, знание законов физики само по себе не позволяет LLM отвечать на запросы или выполнять долгосрочные задачи в сложной физической системе. Для решения этой проблемы мы представляем иерархических агентов-экспериментаторов (HExA) — среду самосовершенствования в контексте, позволяющую обучаться посредством активного экспериментирования. HExA итеративно разрабатывает и уточняет релевантные запросу эксперименты, формирует из опыта многократно используемую библиотеку компонуемых навыков и интегрирует экспериментальные данные для ответа на запросы или выполнения действий. HExA не требует обучения, совместима с любыми моделями «черного ящика» и не нуждается во внешнем контроле, оракулах или офлайн-данных. Для оценки активного экспериментирования мы представляем Interphyre — бенчмарк вызова инструментов, построенный на основе процедурной физической среды PHYRE 2D, где агенты предлагают вмешательства и проверяют гипотезы через API симуляции. Эксперименты показывают, что текущие LLM-агенты с трудом справляются в таких условиях, особенно на самых сложных уровнях Interphyre. Claude Sonnet 4.6 достигает лишь 2% успеха, тогда как HExA улучшает ту же модель до 77% успеха. HExA также улучшает модели с открытыми весами и превосходит такие агентные базовые подходы, как ReAct и Reflexion. Более того, используя только навыки, полученные на более легких уровнях и перенесенные без активного экспериментирования, HExA достигает 44% успеха, что демонстрирует возможность повторного использования и обобщения изученных навыков. В целом HExA показывает, что обучение через активное экспериментирование может помочь агентам обнаруживать полезные знания, приобретать многократно используемые навыки и эффективно продвигаться в решении новых долгосрочных задач.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.