π-Bench: 장기 작업 흐름에서의 능동적 개인 비서 에이전트 평가

초록

개인 비서 에이전트(예: OpenClaw)의 부상은 대규모 언어 모델이 일상 생활과 업무 전반에서 사용자를 지원할 수 있는 잠재력이 증가하고 있음을 보여준다. 이러한 환경에서 핵심적인 도전 과제는 사전 예방적 지원(proactive assistance)이다. 사용자는 종종 불완전하게 명시된 요청으로 시작하고 중요한 요구사항, 제약 조건 또는 선호도를 언급하지 않은 채로 남겨두기 때문이다. 그러나 기존 벤치마크는 사용자의 요구가 점진적으로 드러나는 지속적인 다중 턴 상호작용에서, 특히 이러한 숨겨진 의도가 명시적으로 표현되기 전에 에이전트가 이를 식별하고 조치를 취할 수 있는지 평가하는 경우가 드물다. 이러한 격차를 해소하기 위해 우리는 π-Bench를 제안한다. π-Bench는 5개의 도메인 특화 사용자 페르소나에 걸친 100개의 다중 턴 작업으로 구성된 사전 예방적 지원 벤치마크이다. 숨겨진 사용자 의도, 작업 간 의존성, 세션 간 연속성을 통합함으로써, π-Bench는 에이전트가 확장된 상호작용 과정에서 사용자 요구를 예측하고 대응하는 능력을 평가하며, 실제 사용 환경을 더 잘 반영하는 장기 궤적에서 사전 예방성과 작업 완료도를 함께 측정한다. 실험 결과는 (1) 사전 예방적 지원이 여전히 어려운 과제이며, (2) 작업 완료도와 사전 예방성 간에 명확한 구분이 존재하며, (3) 이후 작업에서 사전 예방적 의도 해결을 위해 이전 상호작용이 중요함을 보여준다.

English

The rise of personal assistant agents, e.g., OpenClaw, highlights the growing potential of large language models to support users across everyday life and work. A core challenge in these settings is proactive assistance, since users often begin with underspecified requests and leave important needs, constraints, or preferences unstated. However, existing benchmarks rarely evaluate whether agents can identify and act on such hidden intents before they are explicitly stated, especially in sustained multi-turn interactions where user needs emerge gradually. To address this gap, we introduce π-Bench, a benchmark for proactive assistance comprising 100 multi-turn tasks across 5 domain-specific user personas. By incorporating hidden user intents, inter-task dependencies, and cross-session continuity, π-Bench evaluates agents' ability to anticipate and address user needs over extended interactions, jointly measuring proactivity and task completion in long-horizon trajectories that better reflect real-world use. Experiments show (1) proactive assistance remains challenging, (2) a clear distinction between task completion and proactivity, and (3) the value of prior interaction for proactive intent resolution in later tasks.