OpenForgeRL: 모든 환경에서 하네스 네이티브 에이전트 훈련

초록

현대의 AI 에이전트는 Claude Code, Codex, OpenClaw와 같은 정교한 추론 하네스(inference harness)에 의존하여 다중 턴 추론, 도구 사용, 외부 시스템 접근을 구동합니다. 이러한 복잡한 하네스는 강력하지만, 개방형 인프라로 종단간(end-to-end) 학습을 어렵게 만듭니다. 그 이유는 기존 SFT/RL 스택이 상태 저장형 다중 프로세스 하네스 추론을 기본적으로 표현할 수 없기 때문입니다. 이 문제를 해결하기 위해, 우리는 다양한 환경에서 하네스 기반 에이전트를 종단간 학습할 수 있는 오픈소스 프레임워크인 OpenForgeRL을 제시합니다. OpenForgeRL은 하네스의 모델 호출을 처리하면서 이를 표준 RL 코드베이스(예: veRL)의 학습 데이터로 기록하는 경량 프록시와, 각 롤아웃을 자체 원격 컨테이너에서 실행하는 Kubernetes 오케스트레이터를 통해 이를 달성합니다. 이를 통해 모든 하네스와 환경에서 대규모 학습이 가능합니다. 학습과 추론을 분리함으로써, OpenForgeRL은 연구자들이 에이전트가 실제 배포되는 하네스와 환경 내에서 직접 에이전트를 쉽게 학습, 연구 및 개선할 수 있게 합니다. 우리는 이 프레임워크를 도구/클로 기반 에이전트와 멀티모달 GUI 브라우저 및 컴퓨터 사용 에이전트를 포함하는 다양하고 복잡한 하네스 및 환경에서 검증했습니다. 수백에서 수천 개의 작업만을 사용하여 OpenForgeClaw는 ClawEval에서 pass^3 31.7, pass@3 55.9를, QwenClawBench에서 33.7을 달성했습니다. OpenForgeGUI는 OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3을 달성했습니다. 두 모델 모두 거의 모든 벤치마크에서 유사한 크기의 오픈 베이스라인을 능가하며, GUI 설정에서는 몇 배 더 큰 모델과 일치하거나 능가합니다. 벤치마크를 넘어, 우리는 하네스 선택(예: ZeroClaw, OpenClaw, Codex)과 RL이 에이전트 행동을 어떻게 형성하는지 분석합니다. 일부 하네스는 다른 하네스보다 학습하기 훨씬 어렵다는 점과, RL이 자체 검증, 도구 적용 범위, 다단계 계획 완료와 같은 에이전트의 신뢰성을 향상시키지만, 오류 복구와 같은 중요한 능력은 여전히 약하다는 점을 발견했습니다.

English

Modern AI agents rely on elaborate inference harnesses such as Claude Code, Codex, and OpenClaw to drive multi-turn reasoning, tool use, and access to external systems. While powerful, these complex harnesses also make agents hard to train end-to-end with open infrastructure, whose SFT/RL stacks cannot natively express stateful, multi-process harness inference. To address this, we present OpenForgeRL, an open-source framework for training harness-based agents end-to-end in diverse environments. OpenForgeRL achieves this with a lightweight proxy that serves the harness's model calls while recording them as training data for a standard RL codebase (e.g., veRL), and a Kubernetes orchestrator that runs each rollout in its own remote container, together enabling training on any harness in any environment at scale. By decoupling training and inference, OpenForgeRL allows researchers to easily train, study, and improve agents directly in the real harnesses and environments they are deployed with. We validate our framework across diverse, complex harnesses and environments, spanning tool/claw-based agents and multimodal GUI browser- and computer-use agents. Using only hundreds to a few thousand tasks, OpenForgeClaw reaches 31.7 pass^3 and 55.9 pass@3 on ClawEval and 33.7 on QwenClawBench. OpenForgeGUI reaches 37.7 on OSWorld-Verified, 63.0 on Online-Mind2Web, and 72.3 on WebVoyager. Both outperform open baselines of similar size on nearly all benchmarks, and in the GUI setting match or surpass models several times larger. Beyond benchmarks, we analyze how harness choice (e.g., ZeroClaw, OpenClaw, Codex) and RL shape agent behavior. We find that some harnesses are substantially harder to learn than others, and that RL improves agentic reliability, such as self-verification, tool coverage, and completing multi-step plans, though critical abilities such as error recovery remain weak.