π-Bench: Avaliando Agentes Assistentes Pessoais Proativos em Fluxos de Trabalho de Longo Horizonte

Resumo

O surgimento de agentes assistentes pessoais, por exemplo, OpenClaw, destaca o potencial crescente dos modelos de linguagem de grande escala para apoiar os usuários na vida cotidiana e no trabalho. Um desafio central nesses contextos é a assistência proativa, já que os usuários frequentemente começam com solicitações subespecificadas e deixam necessidades importantes, restrições ou preferências não declaradas. No entanto, benchmarks existentes raramente avaliam se os agentes conseguem identificar e agir sobre essas intenções ocultas antes que sejam explicitamente declaradas, especialmente em interações sustentadas de múltiplas rodadas, onde as necessidades do usuário surgem gradualmente. Para preencher essa lacuna, apresentamos o π-Bench, um benchmark para assistência proativa composto por 100 tarefas de múltiplas rodadas em 5 personas de usuário específicas de domínio. Ao incorporar intenções ocultas do usuário, dependências entre tarefas e continuidade entre sessões, o π-Bench avalia a capacidade dos agentes de antecipar e atender às necessidades do usuário ao longo de interações prolongadas, medindo conjuntamente a proatividade e a conclusão de tarefas em trajetórias de longo horizonte que refletem melhor o uso no mundo real. Experimentos mostram (1) a assistência proativa continua sendo desafiadora, (2) uma distinção clara entre conclusão de tarefa e proatividade e (3) o valor da interação anterior para a resolução proativa de intenções em tarefas posteriores.

English

The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.