StartupBench: 市場検証済みエンドツーエンドワークフローにおける汎用エージェントのベンチマーク評価

要旨

大規模言語モデル（LLM）とエージェントの最近の進歩により、AIシステムが複雑なタスクを実行する能力は大幅に向上した。しかし、既存のベンチマークは主に研究者が選定したタスクに依存しており、そのような進歩が実際に実世界のユーザーがAIシステムに求める作業にまで及ぶかどうかは不確かなままである。我々は、市場で検証されたAIスタートアップ製品に基づくE2EエージェントベンチマークであるStartupBenchを紹介する。有用なエージェント能力に関する事前定義された仮定からタスクを定義するのではなく、導入実績が実証されたAI製品を、その製品ワークフローおよびユーザーと共に体系的に調査し、多様な専門分野にわたってAIが実用的な需要を確立している実世界のタスクを特定する。我々はこれらのワークフローを完全な成果物指向タスクに変換し、その複雑な要件を捉える詳細なルーブリックを用いて評価する。統一されたエージェントハーネスの下で評価された代表的なモデル群において、最強のモデルでさえ、多くのタスクでかなりの部分的な進捗を示すものの、StartupBenchの約30%しか正常に完了しない。さらなる分析により、複雑な指示への追従やドメイン固有の専門知識などの側面が主な失敗原因であることが明らかになる。我々の結果は、市場で検証された多くのワークフローが現在の汎用エージェントの信頼できる能力の範囲外にあることを示し、StartupBenchを実世界のユーザータスクのE2E完了に向けた進歩の実証的尺度として確立する。

English

Recent advances in Large Language Models(LLMs) and agents have substantially improved the ability of AI systems to execute complex tasks. Yet existing benchmarks largely rely on researcher-selected tasks, leaving uncertain whether such progress extends to the work that real-world users actually demand from AI systems. We introduce StartupBench, an E2E agent benchmark grounded in market-validated AI startup products. Rather than defining tasks from pre-defined assumptions about useful agent capabilities, we systematically study AI products with demonstrated adoption, together with their product workflows and users, to identify real-world tasks for which AI has established practical demand across diverse professional domains. We translate these workflows into complete deliverable-oriented tasks and evaluate them with fine-grained rubrics capturing their complex requirements. Across representative models evaluated under a unified agent harness, even the strongest model successfully completes only approximately 30\% of StartupBench, despite making substantial partial progress on many tasks. Further analysis identifies aspects like complex instruction following and domain-specific expertise as major sources of failure. Our results reveal that many market-validated workflows remain beyond the reliable capabilities of current general-purpose agents, establishing StartupBench as an empirical measure of progress toward E2E completions of real-world user tasks.