π-Bench：長期にわたるワークフローにおけるプロアクティブなパーソナルアシスタントエージェントの評価

要旨

パーソナルアシスタントエージェント（例：OpenClaw）の台頭は、日常生活や仕事においてユーザーを支援する大規模言語モデルの可能性の高まりを示しています。これらの設定における中核的な課題はプロアクティブアシスタンスであり、ユーザーはしばしば不完全なリクエストから始め、重要なニーズ、制約、または好みを明示しないままにします。しかし、既存のベンチマークは、エージェントが明示的に述べられる前にそのような隠れた意図を特定し行動できるかどうかを評価することはほとんどありません。特に、ユーザーのニーズが徐々に明らかになる持続的なマルチターン相互作用においては顕著です。このギャップに対処するため、我々はπ-Benchを導入します。これは、5つのドメイン固有のユーザーペルソナにわたる100のマルチターンタスクから構成されるプロアクティブアシスタンスのためのベンチマークです。隠れたユーザー意図、タスク間依存関係、およびセッション間継続性を組み込むことにより、π-Benchは、長期にわたる相互作用においてユーザーのニーズを予測し対処するエージェントの能力を評価します。これにより、実世界の使用をよりよく反映した長期的な軌跡において、プロアクティブ性とタスク完了を共同で測定します。実験結果は、(1) プロアクティブアシスタンスは依然として困難であること、(2) タスク完了とプロアクティブ性の間に明確な違いがあること、(3) 後続タスクにおけるプロアクティブな意図解決に対する事前の相互作用の価値を示しています。

English

The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.