FACET: 터미널 작업 합성에서 소스 의도와 실행 가능한 상태 보존

초록

터미널 에이전트를 훈련하려면 확장 가능한 실행 기반 감독이 필요하지만, 고품질 터미널 태스크를 합성하는 것은 여전히 어려운 문제이다. 각 태스크는 지시문, 초기화된 환경, 기준 해법, 실행 가능한 검증기를 결합한다. 이러한 산출물들이 일관성 없는 가정에서 생성되면, 결과 태스크는 해결 불가능하거나 부정확하게 평가될 수 있다. 한편, 다단계 합성은 원본 소스에 인코딩된 목표, 의존성, 상태 전이, 절차적 제약을 폐기할 수 있다. 본 연구는 정보 보존과 산출물 간 일관성이라는 두 가지 문제를 모두 해결하는 프레임워크인 FACET(Fine-grained Agentic Construction of Executable Tasks)을 제시한다. FACET은 관련 에이전트 스킬을 응집력 있고 정보가 풍부한 시나리오로 재구성한 다음, 실행 환경을 실현하고 수리한 후 최종 태스크 산출물을 생성한다. 결과적으로 생성된 컨테이너 상태는 지시문, 해법, 검증기의 공유 근거로 기능하며, 실행 기반 검증과 목표 지향적 수리는 유효한 구성 요소를 불필요하게 재생성하지 않으면서 산출물별 실패를 교정한다. FACET은 밀집된 실행 가능 검사를 포함하는 복잡한 터미널 태스크를 생성하며, 이러한 태스크에서 수집된 성공 궤적은 효과적이고 데이터 효율적인 감독을 제공한다. 다양한 규모에 걸친 모델 미세 조정은 Terminal-Bench 2.1에서 일관된 성능 향상을 보여주며, 대안적 생성 방식에 대한 분석은 태스크 유효성과 해법-검증기 정렬에 있어 환경 기반 구축의 중요성을 뒷받침한다. 이러한 결과는 소스 의도 보존과 공유 실행 상태 근거가 확장 가능한 터미널 태스크 합성의 핵심 원칙임을 입증한다.

English

Training terminal agents requires scalable executable supervision, yet synthesizing high-quality terminal tasks remains challenging. Each task couples an instruction, an initialized environment, a reference solution, and an executable verifier; if these artifacts are generated from inconsistent assumptions, the resulting task may be unsolvable or incorrectly evaluated. Meanwhile, multi-stage synthesis can discard the goals, dependencies, state transitions, and procedural constraints encoded in the original sources. We present FACET (Fine-grained Agentic Construction of Executable Tasks), a framework that addresses both information preservation and cross-artifact consistency. FACET reconstructs related agent skills into coherent, information-rich scenarios, then realizes and repairs the execution environment before generating the final task artifacts. The resulting container state serves as shared grounding for the instruction, solution, and verifier, while execution-based validation and targeted repair correct artifact-specific failures without unnecessarily regenerating valid components. FACET produces complex terminal tasks with dense executable checks, and successful trajectories collected from these tasks provide effective, data-efficient supervision. Fine-tuning models across multiple scales consistently improves performance on Terminal-Bench 2.1, while analyses of alternative generation schemes support the importance of environment-grounded construction for task validity and solution-verifier alignment. These results establish source-intent preservation and shared executable-state grounding as key principles for scalable terminal-task synthesis.