π-Bench : Évaluation d'agents assistants personnels proactifs dans des workflows à long horizon

Résumé

L'essor des agents assistants personnels, par exemple OpenClaw, met en évidence le potentiel croissant des grands modèles de langage pour accompagner les utilisateurs dans leur vie quotidienne et professionnelle. Un défi central dans ces contextes est l'assistance proactive, car les utilisateurs commencent souvent par des requêtes sous-spécifiées et omettent d'exprimer des besoins, contraintes ou préférences importants. Cependant, les benchmarks existants évaluent rarement la capacité des agents à identifier et à agir sur ces intentions cachées avant qu'elles ne soient explicitement formulées, en particulier dans des interactions prolongées à plusieurs tours où les besoins émergent progressivement. Pour combler cette lacune, nous présentons π-Bench, un benchmark pour l'assistance proactive comprenant 100 tâches multi-tours réparties sur 5 personas d'utilisateurs spécifiques à un domaine. En intégrant des intentions cachées, des dépendances inter-tâches et une continuité inter-sessions, π-Bench évalue la capacité des agents à anticiper et à répondre aux besoins des utilisateurs sur des interactions étendues, mesurant conjointement la proactivité et l'achèvement des tâches dans des trajectoires à long terme qui reflètent mieux les usages réels. Les expériences montrent (1) que l'assistance proactive reste difficile, (2) qu'il existe une distinction nette entre l'achèvement des tâches et la proactivité, et (3) la valeur des interactions antérieures pour la résolution proactive des intentions dans les tâches ultérieures.

English

The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.