待つより探求せよ: 大規模言語モデルにおける深層データ研究の評価

要旨

エージェンシック大規模言語モデルに期待される自律性は、単なる正確な回答を超え、目標を設定し探索対象を決定する自律性を要求する。我々はこれを「探査的知能」と定義し、割り当てられた課題を遂行するのみの「実行的知能」と区別する。データサイエンスは理想的な試験場となる。現実世界の分析は明示的なクエリではなく生データから開始されるにもかかわらず、これを焦点としたベンチマークは少ない。この問題に対処するため、LLMがデータベースから自律的に主要な洞察を抽出するオープンエンド課題「Deep Data Research（DDR）」と、検証可能な評価を実現する大規模チェックリスト型ベンチマーク「DDR-Bench」を提案する。評価結果から、先進モデルには萌芽的なエージェンシーが認められるものの、長期的な探索は依然として課題であることが明らかになった。効果的な探査的知能は、エージェント基盤の構築や単純なスケーリングのみならず、エージェンシックモデル固有の戦略に依存することを分析により示唆する。

English

The agency expected of Agentic Large Language Models goes beyond answering correctly, requiring autonomy to set goals and decide what to explore. We term this investigatory intelligence, distinguishing it from executional intelligence, which merely completes assigned tasks. Data Science provides a natural testbed, as real-world analysis starts from raw data rather than explicit queries, yet few benchmarks focus on it. To address this, we introduce Deep Data Research (DDR), an open-ended task where LLMs autonomously extract key insights from databases, and DDR-Bench, a large-scale, checklist-based benchmark that enables verifiable evaluation. Results show that while frontier models display emerging agency, long-horizon exploration remains challenging. Our analysis highlights that effective investigatory intelligence depends not only on agent scaffolding or merely scaling, but also on intrinsic strategies of agentic models.

待つより探求せよ: 大規模言語モデルにおける深層データ研究の評価

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

要旨

Support