Ego2Web: Um Benchmark de Agentes Web Baseado em Vídeos Egocêntricos
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
March 23, 2026
Autores: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong
cs.AI
Resumo
Os agentes de IA multimodal estão automatizando cada vez mais fluxos de trabalho complexos do mundo real que envolvem execução web online. No entanto, os benchmarks atuais para agentes web sofrem de uma limitação crítica: eles se concentram inteiramente na interação e percepção baseadas na web, carecendo de ancoragem no ambiente físico real do usuário. Essa limitação impede a avaliação em cenários cruciais, como quando um agente deve usar a percepção visual egocêntrica (por exemplo, via óculos de realidade aumentada) para reconhecer um objeto no entorno do usuário e, em seguida, completar uma tarefa relacionada online. Para preencher essa lacuna, introduzimos o Ego2Web, o primeiro benchmark projetado para fazer a ponte entre a percepção de vídeo egocêntrica e a execução de agentes web. O Ego2Web emparelha gravações de vídeo em primeira pessoa do mundo real com tarefas web que exigem compreensão visual, planejamento de tarefas web e interação em um ambiente online para uma conclusão bem-sucedida. Utilizamos um pipeline de geração automática de dados combinado com verificação e refinamento humano para selecionar pares vídeo-tarefa bem construídos e de alta qualidade em diversos tipos de tarefas web, incluindo comércio eletrônico, recuperação de mídia, consulta de conhecimento, etc. Para facilitar uma avaliação precisa e escalável para o nosso benchmark, também desenvolvemos um novo método de avaliação automática LLM-como-Juiz, o Ego2WebJudge, que alcança aproximadamente 84% de concordância com o julgamento humano, substancialmente superior aos métodos de avaliação existentes. Experimentos com diversos agentes SoTA no nosso Ego2Web mostram que o seu desempenho é fraco, com margem substancial de melhoria em todas as categorias de tarefas. Também realizamos um estudo de ablação abrangente sobre o design de tarefas, destacando a necessidade de uma compreensão precisa de vídeo na tarefa proposta e as limitações dos agentes atuais. Esperamos que o Ego2Web possa ser um novo recurso crítico para o desenvolvimento de assistentes de IA verdadeiramente capazes que possam ver, compreender e agir perfeitamente entre os mundos físico e digital.
English
Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.