OmegaUse-OfficeVal: 경제적 근거를 갖춘 장기적 오피스 제품군 작업에 대한 LLM 에이전트 벤치마킹

초록

대규모 언어 모델(LLM) 에이전트는 사용자의 작업 완료를 지원할 것으로 점점 더 기대되고 있다. 그러나 기존 벤치마크는 에이전트가 합리적인 비용으로 오피스 제품군 워크플로우를 수행할 수 있는지 평가하는 데 제한적인 지원만 제공한다. 본 논문에서는 과제 수준의 경제적 기반을 갖춘 장기 오피스 제품군 작업에 대해 LLM 에이전트를 평가하기 위한 벤치마크인 OmegaUse-OfficeVal을 소개한다. 이 벤치마크는 실무자들이 제안한 오피스 제품군 요청에서 파생되어 개인정보 보호 프로세스를 통해 조정된 100개의 작업으로 구성된다. 평균적으로 이러한 작업을 완료하는 데 2.32시간의 인간 노동이 필요하다. 이 벤치마크의 중요한 특징은 각 작업이 인간 노동 시간과 작업 가격 대리값이라는 두 가지 경제적 신호와 쌍을 이룬다는 점이다. 이러한 신호는 인간 비용과 LLM 추론 비용 간의 직접 비교와 가치 가중 평가를 가능하게 한다. 안정적인 평가를 지원하기 위해 세분화된 루브릭에서 코드 기반 검증기를 개발한다. 인간 기준선과 함께 여러 최첨단 LLM을 평가한다. 평가된 모든 LLM은 인간 작업자보다 상당히 저렴하고 빠르지만, 아직 인간 수준의 제공 품질에는 도달하지 못했다. 코드와 데이터셋은 완전히 오픈소스로 제공되며, 자세한 정보는 프로젝트 웹사이트(https://omegause-officeval.github.io)에서 확인할 수 있다.

English

Large language model (LLM) agents are increasingly expected to assist users in completing tasks. However, existing benchmarks provide limited support for evaluating whether agents can carry out office-suite workflows at a reasonable cost. We introduce OmegaUse-OfficeVal, a benchmark for evaluating LLM agents on long-horizon office-suite tasks with task-level economic grounding. The benchmark comprises 100 tasks derived from office-suite requests proposed by practitioners and adapted through a privacy-preserving process. On average, these tasks require 2.32 hours of human labor to complete. An important feature of the benchmark is that each task is paired with two economic signals: human labor time and task price proxy. These signals enable direct comparisons between human costs and LLM inference costs, as well as value-weighted evaluation. To support stable evaluation, we develop code-based verifiers from fine-grained rubrics. We evaluate several frontier LLMs together with a human baseline. Although all evaluated LLMs are substantially cheaper and faster than human workers, they have not yet approached human-level deliverable quality. The code and dataset are fully open-sourced, and more information is available on our project website: https://omegause-officeval.github.io.