Ego2Web : Un benchmark d'agent web ancré dans des vidéos égocentriques

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

March 23, 2026

Auteurs: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong

cs.AI

Résumé

Les agents d'IA multimodaux automatisent de plus en plus des flux de travail complexes du monde réel impliquant une exécution en ligne. Cependant, les benchmarks actuels pour agents web souffrent d'une limitation critique : ils se concentrent entièrement sur l'interaction et la perception basées sur le web, sans ancrage dans l'environnement physique réel de l'utilisateur. Cette limitation empêche l'évaluation dans des scénarios cruciaux, comme lorsqu'un agent doit utiliser une perception visuelle égocentrique (par exemple, via des lunettes de réalité augmentée) pour reconnaître un objet dans l'environnement de l'utilisateur, puis accomplir une tâche en ligne connexe. Pour combler cette lacune, nous présentons Ego2Web, le premier benchmark conçu pour faire le lien entre la perception vidéo égocentrique et l'exécution par un agent web. Ego2Web associe des enregistrements vidéo réels à la première personne à des tâches web qui nécessitent une compréhension visuelle, une planification de tâches web et une interaction dans un environnement en ligne pour être accomplies avec succès. Nous utilisons un pipeline de génération automatique de données combiné à une vérification et un affinage humains pour constituer des paires vidéo-tâche bien construites et de haute qualité, couvrant divers types de tâches web, notamment le commerce électronique, la récupération de médias, la recherche d'informations, etc. Pour faciliter une évaluation précise et évolutive de notre benchmark, nous développons également une nouvelle méthode d'évaluation automatique LLM-comme-Juge, Ego2WebJudge, qui atteint environ 84 % d'accord avec le jugement humain, un taux substantiellement plus élevé que les méthodes d'évaluation existantes. Les expériences menées avec divers agents SoTA sur notre benchmark Ego2Web montrent que leurs performances sont faibles, avec une marge d'amélioration substantielle dans toutes les catégories de tâches. Nous menons également une étude d'ablation complète sur la conception des tâches, mettant en lumière la nécessité d'une compréhension précise de la vidéo dans la tâche proposée et les limites des agents actuels. Nous espérons qu'Ego2Web pourra constituer une nouvelle ressource essentielle pour développer de véritables assistants IA capables de voir, de comprendre et d'agir de manière transparente à travers les mondes physique et numérique.

English

Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.