계층적 실험 에이전트

초록

대규모 언어 모델(LLM)은 실제 세계에서 행동을 수행하고 인간의 의사 결정을 지원하는 데 점점 더 많이 사용되고 있지만, 대부분의 에이전트는 파라메트릭 지식, 고정된 사후 학습 데이터, 검색 또는 탐색에 의존합니다. 이러한 패러다임은 새로운 영역이나 선행 지식만으로는 답할 수 없는 정교한 질문에서는 작동하지 않습니다. 예를 들어, 물리 법칙을 아는 것만으로는 복잡한 물리 시스템에서 LLM이 질문에 답하거나 장기적 과제를 완료할 수 없습니다. 이를 해결하기 위해, 우리는 능동적 실험을 통해 학습하는 컨텍스트 내 자기 개선 프레임워크인 계층적 실험자 에이전트(HExA)를 소개합니다. HExA는 질문과 관련된 실험을 반복적으로 설계 및 개선하고, 경험으로부터 재사용 가능한 조합 가능한 기술 라이브러리를 학습하며, 실험 증거를 통합하여 질문에 답하거나 행동을 수행합니다. HExA는 학습이 필요 없으며, 모든 블랙박스 모델과 호환되고, 외부 감독, 오라클 또는 오프라인 데이터가 필요하지 않습니다. 능동적 실험을 평가하기 위해, 우리는 PHYRE 2D 절차적 물리 환경 기반의 도구 호출 벤치마크인 Interphyre를 소개합니다. 여기서 에이전트는 시뮬레이션 API를 통해 중재를 제안하고 가설을 테스트합니다. 실험에 따르면 현재의 LLM 에이전트는 이러한 환경, 특히 Interphyre의 가장 어려운 레벨에서 어려움을 겪습니다. Claude Sonnet 4.6은 2%의 성공률만을 달성하는 반면, HExA는 동일 모델의 성공률을 최대 77%까지 향상시킵니다. HExA는 또한 오픈 가중치 모델을 개선하고 ReAct 및 Reflexion과 같은 에이전틱 베이스라인을 능가합니다. 더욱이, 더 쉬운 레벨에서 학습된 기술만을 사용하고 능동적 실험 없이 전이하여 HExA는 44%의 성공률을 달성하며, 학습된 기술의 재사용성과 일반화를 입증합니다. 전반적으로, HExA는 능동적 실험을 통한 학습이 에이전트가 유용한 지식을 발견하고, 재사용 가능한 기술을 습득하며, 새로운 장기적 과제에서 효율적으로 진전할 수 있도록 도움을 준다는 것을 보여줍니다.

English

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.