Quando gli utenti cambiano idea: valutazione di agenti interrompibili nella navigazione web a lungo termine
When Users Change Their Mind: Evaluating Interruptible Agents in Long-Horizon Web Navigation
April 1, 2026
Autori: Henry Peng Zou, Chunyu Miao, Wei-Chieh Huang, Yankai Chen, Yue Zhou, Hanrong Zhang, Yaozu Wu, Liancheng Fang, Zhengyao Gu, Zhen Zhang, Kening Zheng, Fangxin Wang, Yi Nian, Shanghao Li, Wenzhe Fan, Langzhou He, Weizhi Zhang, Xue Liu, Philip S. Yu
cs.AI
Abstract
Mentre gli agenti LLM evolvono dalla risoluzione di problemi brevi e statici all'esecuzione di compiti complessi e a lungo termine in ambienti dinamici, la capacità di gestire interruzioni utente, come l'aggiunta di requisiti o la revisione di obiettivi, durante l'esecuzione di un'attività sta diventando un requisito fondamentale per un dispiegamento realistico. Tuttavia, gli attuali benchmark presuppongono largamente un comportamento agente ininterrotto o studiano le interruzioni solo in compiti linguistici brevi e non vincolati. In questo articolo, presentiamo il primo studio sistematico sugli agenti interrompibili in compiti di navigazione web a lungo termine e radicati nell'ambiente, dove le azioni inducono cambiamenti di stato persistenti. Formalizziamo tre tipi realistici di interruzione, inclusi aggiunta, revisione e revoca, e introduciamo InterruptBench, un benchmark derivato da WebArena-Lite che sintetizza scenari di interruzione di alta qualità sotto stringenti vincoli semantici. Utilizzando un framework unificato di simulazione delle interruzioni, valutiamo sei solide architetture LLM in contesti di interruzione a turno singolo e multiplo, analizzando sia la loro efficacia nell'adattarsi a intenzioni aggiornate sia la loro efficienza nel recuperare da cambiamenti a metà attività. I nostri risultati mostrano che gestire le interruzioni utente in modo efficace ed efficiente durante compiti agentivi a lungo termine rimane una sfida per i potenti LLM su larga scala. Codice e dataset sono disponibili su https://github.com/HenryPengZou/InterruptBench.
English
As LLM agents transition from short, static problem solving to executing complex, long-horizon tasks in dynamic environments, the ability to handle user interruptions, such as adding requirement or revising goals, during mid-task execution is becoming a core requirement for realistic deployment. However, existing benchmarks largely assume uninterrupted agent behavior or study interruptions only in short, unconstrained language tasks. In this paper, we present the first systematic study of interruptible agents in long-horizon, environmentally grounded web navigation tasks, where actions induce persistent state changes. We formalize three realistic interruption types, including addition, revision, and retraction, and introduce InterruptBench, a benchmark derived from WebArena-Lite that synthesizes high-quality interruption scenarios under strict semantic constraints. Using a unified interruption simulation framework, we evaluate six strong LLM backbones across single- and multi-turn interruption settings, analyzing both their effectiveness in adapting to updated intents and their efficiency in recovering from mid-task changes. Our results show that handling user interruptions effectively and efficiently during long-horizon agentic tasks remains challenging for powerful large-scale LLMs. Code and dataset are available at https://github.com/HenryPengZou/InterruptBench.