OmegaUse-OfficeVal: 経済的グラウンディングを伴う長期オフィススイートタスクにおけるLLMエージェントのベンチマーキング

要旨

大規模言語モデル（LLM）エージェントは、ユーザーがタスクを完了するのを支援することがますます期待されている。しかし、既存のベンチマークでは、エージェントがオフィススイートのワークフローを妥当なコストで実行できるかどうかを評価するためのサポートは限られている。我々は、タスクレベルの経済的根拠に基づいて、長期にわたるオフィススイートタスクを評価するためのベンチマーク「OmegaUse-OfficeVal」を導入する。このベンチマークは、実務者から提案されたオフィススイートのリクエストから派生し、プライバシー保護プロセスを経て調整された100のタスクで構成されている。これらのタスクは平均して2.32時間の人間の労働時間を要する。このベンチマークの重要な特徴は、各タスクに人間の労働時間とタスク価格の代理という2つの経済的信号が対応付けられている点である。これらの信号により、人間のコストとLLMの推論コストの直接比較、および価値加重評価が可能になる。安定した評価を支援するため、詳細なルーブリックからコードベースの検証器を開発した。我々は、いくつかの最先端LLMを人間のベースラインとともに評価した。評価されたすべてのLLMは人間の作業者よりも大幅に低コストかつ高速であるが、人間レベルの納品品質にはまだ達していない。コードとデータセットは完全にオープンソース化されており、詳細はプロジェクトウェブサイト（https://omegause-officeval.github.io）で入手可能である。

English

Large language model (LLM) agents are increasingly expected to assist users in completing tasks. However, existing benchmarks provide limited support for evaluating whether agents can carry out office-suite workflows at a reasonable cost. We introduce OmegaUse-OfficeVal, a benchmark for evaluating LLM agents on long-horizon office-suite tasks with task-level economic grounding. The benchmark comprises 100 tasks derived from office-suite requests proposed by practitioners and adapted through a privacy-preserving process. On average, these tasks require 2.32 hours of human labor to complete. An important feature of the benchmark is that each task is paired with two economic signals: human labor time and task price proxy. These signals enable direct comparisons between human costs and LLM inference costs, as well as value-weighted evaluation. To support stable evaluation, we develop code-based verifiers from fine-grained rubrics. We evaluate several frontier LLMs together with a human baseline. Although all evaluated LLMs are substantially cheaper and faster than human workers, they have not yet approached human-level deliverable quality. The code and dataset are fully open-sourced, and more information is available on our project website: https://omegause-officeval.github.io.