Ego2Web: un benchmark per agenti web basato su video egocentrici
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
March 23, 2026
Autori: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong
cs.AI
Abstract
Gli agenti di intelligenza artificiale multimodale stanno automatizzando sempre più flussi di lavoro complessi del mondo reale che coinvolgono l'esecuzione di attività online. Tuttavia, gli attuali benchmark per agenti web presentano una limitazione critica: si concentrano interamente sull'interazione e percezione basata sul web, mancando di un ancoraggio all'ambiente fisico reale dell'utente. Questa limitazione impedisce la valutazione in scenari cruciali, come quando un agente deve utilizzare la percezione visiva egocentrica (ad esempio, tramite occhiali per la realtà aumentata) per riconoscere un oggetto nell'ambiente dell'utente e poi completare un'attività correlata online. Per colmare questa lacuna, introduciamo Ego2Web, il primo benchmark progettato per collegare la percezione video egocentrica e l'esecuzione di agenti web. Ego2Web abbina registrazioni video in prima persona del mondo reale a compiti web che richiedono comprensione visiva, pianificazione di attività web e interazione in un ambiente online per il completamento con successo. Utilizziamo una pipeline di generazione dati automatica combinata con verifica e perfezionamento umano per curare coppie video-compito ben costruite e di alta qualità tra diversi tipi di attività web, inclusi e-commerce, recupero di contenuti multimediali, ricerca di informazioni, ecc. Per facilitare una valutazione accurata e scalabile per il nostro benchmark, sviluppiamo anche un nuovo metodo di valutazione automatica LLM-as-a-Judge, Ego2WebJudge, che raggiunge circa l'84% di accordo con il giudizio umano, sostanzialmente superiore ai metodi di valutazione esistenti. Esperimenti con vari agenti SoTA sul nostro Ego2Web mostrano che le loro prestazioni sono deboli, con un margine di miglioramento sostanziale in tutte le categorie di compiti. Conduciamo anche uno studio di ablazione completo sulla progettazione dei compiti, evidenziando la necessità di una comprensione video accurata nel compito proposto e i limiti degli agenti attuali. Speriamo che Ego2Web possa essere una nuova risorsa cruciale per sviluppare assistenti IA veramente capaci che possano vedere, comprendere e agire in modo seamless tra i mondi fisico e digitale.
English
Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.