DocOps: 복잡한 문서 작업에서 자율 에이전트를 위한 검증 가능한 벤치마크

초록

자율 에이전트가 급속도로 발전함에 따라, 보편적인 디지털 문서를 안정적으로 조작하는 능력은 범용 AI 어시스턴트 구현과 복잡한 작업 공간 워크플로 자동화에 핵심적인 요소로 부상하고 있다. 본 논문에서는 실제 사례에서 영감을 얻은 문서 조작을 원자적 차원과 단계적 워크플로 복잡성으로 분해하는 계층적 분류 체계를 기반으로 하는 결정론적 검증 평가 프레임워크인 DocOps를 소개한다. DocOps를 기반으로 다양한 에이전트 프레임워크에서 대표적인 폐쇄형 및 개방형 모델을 체계적으로 평가한 결과, 가장 발전된 최첨단 구성조차도 높은 결합도와 장기적 범위를 가진 작업을 처리할 때 여전히 심각한 한계를 보임을 확인했다. 또한 기존 에이전트의 조작 행동에 대한 세부 분석을 통해 장기 상태 추적 붕괴, 피상적 의미론적 검증, 구조적 메타데이터의 파괴적 편집이라는 세 가지 주요 실패 유형을 발견했다. 궁극적으로 본 연구는 문서의 전역적 일관성을 유지하는 에이전트의 능력 한계를 드러내며, 복잡한 디지털 생태계를 위한 강건하고 비파괴적인 에이전트의 미래 설계에 대한 시사점을 제공한다.

English

As autonomous agents rapidly evolve, their ability to reliably manipulate ubiquitous digital documents has become critical for enabling general-purpose AI assistants and automating complex workspace workflows. In this paper, we introduce DocOps, a deterministically verifiable evaluation framework underpinned by a hierarchical taxonomy that deconstructs document operations inspired by real-world practices into atomic dimensions and escalating workflow complexities. Based on DocOps, we systematically evaluate representative closed- and open-source models across various agentic harnesses, revealing that even the most advanced frontier configurations still exhibit profound limitations when handling highly coupled, long-range tasks. Furthermore, a fine-grained analysis of existing agents' manipulation behaviors uncovers 3 key failure modes: long-term state tracking collapse, shallow semantic verification, and destructive editing of structural metadata. Ultimately, our work exposes the capability boundaries of agents in maintaining global document consistency, shedding light on the future design of robust, non-destructive agents for complex digital ecosystems.