π-Bench: Оценка проактивных персональных ассистентов в долгосрочных рабочих процессах

Аннотация

Возрастающая популярность агентов-помощников, таких как OpenClaw, подчеркивает растущий потенциал больших языковых моделей для поддержки пользователей в повседневной жизни и работе. Ключевой задачей в таких сценариях является проактивная помощь, поскольку пользователи часто начинают с нечетко сформулированных запросов и оставляют невысказанными важные потребности, ограничения или предпочтения. Однако существующие бенчмарки редко оценивают способность агентов выявлять и реализовывать такие скрытые намерения до того, как они будут явно выражены, особенно в рамках длительных многошаговых взаимодействий, где потребности пользователя возникают постепенно. Для устранения этого пробела мы представляем π-Bench — бенчмарк для проактивной помощи, включающий 100 многошаговых задач в разрезе 5 предметно-ориентированных пользовательских персон. Включая скрытые намерения пользователей, межзадачные зависимости и межсессионную непрерывность, π-Bench оценивает способность агентов предвидеть и удовлетворять потребности пользователей в ходе продолжительных взаимодействий, совместно измеряя проактивность и полноту выполнения задач в долгосрочных траекториях, которые лучше отражают реальное использование. Эксперименты показывают: (1) проактивная помощь остается сложной задачей; (2) существует четкое различие между полнотой выполнения задачи и проактивностью; (3) ценность предшествующего взаимодействия для разрешения скрытых намерений в последующих задачах.

English

The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.