AIエージェントはデータの質問に答えられるか？データエージェントのベンチマーク

要旨

企業ユーザーは、自然言語を用いてデータを問い合わせるAIエージェントへの依存度を高めている。しかし、信頼性の高いデータエージェントの構築は依然として困難である。その理由は、実世界のデータが複数の異種データベースシステムに分散していることが多く、参照の不整合や非構造化テキストに埋もれた情報が存在するためである。既存のベンチマークは、自然言語の質問をSQLクエリに変換する、またはコンテキストで提供される小さなテーブルに対する質問応答など、この問題の個々の側面にしか対応しておらず、複数のデータベースシステムにわたるデータの統合、変換、分析という完全なパイプラインを評価するものではない。このギャップを埋めるため、我々は6つの産業にわたる企業データエージェントワークロードの形成的調査に基づいたData Agent Benchmark（DAB）を提案する。DABは、12のデータセット、9つのドメイン、4つのデータベース管理システムにわたる54のクエリで構成されている。DABにおいて、最高性能のフロンティアモデル（Gemini-3-Pro）でもpass@1精度は38%に留まった。我々は5つのフロンティアLLMをベンチマークし、その失敗モードを分析し、将来のデータエージェント開発に向けた知見を抽出する。当ベンチマークと実験コードはgithub.com/ucbepic/DataAgentBenchで公開されている。

English

Users across enterprises increasingly rely on AI agents to query their data through natural language. However, building reliable data agents remains difficult because real-world data is often fragmented across multiple heterogeneous database systems, with inconsistent references and information buried in unstructured text. Existing benchmarks only tackle individual pieces of this problem -- e.g., translating natural-language questions into SQL queries, answering questions over small tables provided in context -- but do not evaluate the full pipeline of integrating, transforming, and analyzing data across multiple database systems. To fill this gap, we present the Data Agent Benchmark (DAB), grounded in a formative study of enterprise data agent workloads across six industries. DAB comprises 54 queries across 12 datasets, 9 domains, and 4 database management systems. On DAB, the best frontier model (Gemini-3-Pro) achieves only 38% pass@1 accuracy. We benchmark five frontier LLMs, analyze their failure modes, and distill takeaways for future data agent development. Our benchmark and experiment code are published at github.com/ucbepic/DataAgentBench.

AIエージェントはデータの質問に答えられるか？データエージェントのベンチマーク

Can AI Agents Answer Your Data Questions? A Benchmark for Data Agents

要旨

Support