Ego2Web: Бенчмарк веб-агента, основанный на эгоцентричных видеозаписях

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

March 23, 2026

Авторы: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong

cs.AI

Аннотация

Мультимодальные ИИ-агенты всё чаще автоматизируют сложные рабочие процессы в реальном мире, связанные с выполнением действий в интернете. Однако современные бенчмарки для веб-агентов имеют серьёзный недостаток: они полностью сосредоточены на веб-взаимодействии и восприятии, не учитывая контекст физического окружения пользователя. Это ограничение не позволяет оценивать работу агентов в ключевых сценариях, например, когда агенту необходимо использовать эгоцентрическое визуальное восприятие (например, через AR-очки) для распознавания объекта в окружении пользователя с последующим выполнением связанной задачи в сети. Чтобы устранить этот пробел, мы представляем Ego2Web — первый бенчмарк, предназначенный для объединения восприятия эгоцентрического видео и выполнения действий в веб-среде. Ego2Web сочетает записи видео от первого лица из реального мира с веб-задачами, для успешного выполнения которых требуется визуальное понимание, планирование веб-задач и взаимодействие в онлайн-среде. Мы используем автоматизированный конвейер генерации данных в сочетании с проверкой и доработкой человеком для создания тщательно проработанных пар «видео-задача» высокого качества, охватывающих различные типы веб-задач, включая электронную коммерцию, поиск медиа, поиск информации и т.д. Для обеспечения точной и масштабируемой оценки нашего бенчмарка мы также разработали новый метод автоматической оценки LLM-as-a-Judge, Ego2WebJudge, который достигает примерно 84% согласия с человеческой оценкой, что существенно выше, чем у существующих методов оценки. Эксперименты с различными современными агентами на нашем Ego2Web показывают, что их производительность слабая, с значительным потенциалом для улучшения во всех категориях задач. Мы также провели всестороннее абляционное исследование дизайна задач, подчеркивающее необходимость точного понимания видео в предложенной задаче и ограничения текущих агентов. Мы надеемся, что Ego2Web станет важным новым ресурсом для разработки по-настоящему эффективных ИИ-помощников, способных бесшовно видеть, понимать и действовать в физическом и цифровом мирах.

English

Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.