LongHorizon-Harness: 실제 세계 작업을 위한 장기 지평 에이전트의 발전

초록

대규모 언어 모델(LLM) 에이전트는 점차 지속적인 추론, 도구 사용, 그리고 많은 상호 의존적 단계에 걸친 수정을 요구하는 장기 지평(long-horizon) 작업을 수행하게 되었다. 그러나 기존 에이전트 하네스는 작업 실행, 작업 상태, 완료 평가를 증가하는 컨텍스트 내에서 유지하므로 상태 추적이 어렵고, 잘못된 자기 평가가 이후의 결정에 전파될 수 있다. 우리는 장기 지평 실행을 작업 상태 관리 문제로 재구성하고, 작업 상태를 실행 외부에 명시적으로 유지하며 환경에서 독립적으로 검증된 사실만을 사용해 상태를 갱신하는 LongHorizon-Harness를 제안한다. 이 하네스의 관리-실행-감사(MEA) 루프는 작업 상태를 유지하고 다음 하위 작업을 결정하는 관리자(manager), 이를 수행하는 새 컨텍스트 실행기(fresh-context executor), 그리고 다음 라운드 전에 결과 환경 상태를 검증하는 읽기 전용 감사자(read-only auditor)를 사용한다. 경량 AgentAdapter는 기본 에이전트 루프를 수정하지 않고도 모델과 하네스 백엔드를 상호 교환할 수 있게 지원한다. LongHorizon-Harness는 WeaveBench에서 Qwen~3.7-Plus를 51.8%에서 80.7%로, Terminal-Bench~2.1에서 69.7%에서 77.2%로, OSWorld~2.0에서 2.8%에서 8.3%로 향상시킨다. 또한 OSWorld~2.0 부분집합에서 Claude Opus~4.7을 20.0%에서 34.3%로 끌어올려 모델, 하네스, 상호작용 도메인에 걸쳐 일관된 성능 향상을 입증한다.

English

Large language model (LLM) agents increasingly undertake long-horizon tasks that require sustained reasoning, tool use, and revision across many interdependent steps. However, existing agent harnesses maintain task execution, task state, and completion assessment within a growing context, making the state difficult to track and allowing incorrect self-assessments to propagate into later decisions. We reformulate long-horizon execution as a task-state management problem and propose LongHorizon-Harness, which maintains the task state explicitly outside execution and updates it only with facts independently verified from the environment. Its Manage-Execute-Audit(MEA) loop uses a manager to maintain the task state and determine the next subtask, a fresh-context executor to perform it, and a read-only auditor to verify the resulting environment state before the next round. A lightweight AgentAdapter supports interchangeable model and harness backends without modifying their native agent loops. LongHorizon-Harness improves Qwen~3.7-Plus from 51.8% to 80.7% on WeaveBench, from 69.7% to 77.2% on Terminal-Bench~2.1, and from 2.8% to 8.3% on OSWorld~2.0. It also raises Claude Opus~4.7 from 20.0% to 34.3% on an OSWorld2.0 subset, demonstrating consistent gains across models, harnesses, and interaction domains.