LongHorizon-Harness：実世界タスクのための長期的エージェントの進化

要旨

大規模言語モデル（LLM）エージェントは、持続的な推論、ツール使用、および多数の相互依存ステップにわたる修正を必要とする長期タスクを遂行することが増えている。しかし、既存のエージェントハーネスは、タスクの実行、タスク状態、完了評価を拡大し続けるコンテキスト内で維持するため、状態の追跡が困難になり、誤った自己評価が後続の意思決定に伝播する可能性がある。我々は、長期タスクの実行をタスク状態管理問題として再定式化し、タスク状態を実行の外部で明示的に維持し、環境から独立に検証された事実のみでそれを更新するLongHorizon-Harnessを提案する。そのManage-Execute-Audit（MEA）ループは、タスク状態を維持して次のサブタスクを決定するマネージャー、それを実行するフレッシュコンテキストのエグゼキュータ、および次のラウンドの前に結果として生じる環境状態を検証する読み取り専用の監査器を使用する。軽量なAgentAdapterは、ネイティブのエージェントループを変更することなく、交換可能なモデルおよびハーネスのバックエンドをサポートする。LongHorizon-Harnessは、WeaveBenchにおけるQwen 3.7-Plusを51.8%から80.7%へ、Terminal-Bench 2.1における69.7%から77.2%へ、OSWorld 2.0における2.8%から8.3%へ改善する。また、OSWorld 2.0のサブセットではClaude Opus 4.7を20.0%から34.3%に引き上げ、モデル、ハーネス、インタラクションドメインにわたって一貫した改善を示している。

English

Large language model (LLM) agents increasingly undertake long-horizon tasks that require sustained reasoning, tool use, and revision across many interdependent steps. However, existing agent harnesses maintain task execution, task state, and completion assessment within a growing context, making the state difficult to track and allowing incorrect self-assessments to propagate into later decisions. We reformulate long-horizon execution as a task-state management problem and propose LongHorizon-Harness, which maintains the task state explicitly outside execution and updates it only with facts independently verified from the environment. Its Manage-Execute-Audit(MEA) loop uses a manager to maintain the task state and determine the next subtask, a fresh-context executor to perform it, and a read-only auditor to verify the resulting environment state before the next round. A lightweight AgentAdapter supports interchangeable model and harness backends without modifying their native agent loops. LongHorizon-Harness improves Qwen~3.7-Plus from 51.8% to 80.7% on WeaveBench, from 69.7% to 77.2% on Terminal-Bench~2.1, and from 2.8% to 8.3% on OSWorld~2.0. It also raises Claude Opus~4.7 from 20.0% to 34.3% on an OSWorld2.0 subset, demonstrating consistent gains across models, harnesses, and interaction domains.