Ego2Web: 一人称視点映像に基づいたウェブエージェントベンチマーク

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

March 23, 2026

著者: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong

cs.AI

要旨

マルチモーダルAIエージェントは、オンライン上のWeb操作を伴う複雑な実世界のワークフローを自動化する役割を増している。しかし、現在のWebエージェントのベンチマークは重大な限界を抱えている。それは、評価がWeb上のインタラクションと知覚に完全に焦点を当てており、ユーザーの現実世界の物理的環境に基づいていない点である。この限界により、例えばエージェントがユーザー周辺の物体を認識するための一人称視点の視覚知覚（ARグラス経由など）を活用し、その後に関連するオンラインタスクを完了させる必要があるような、重要なシナリオでの評価が妨げられている。 この隔たりを解消するため、我々はEgo2Webを提案する。これは、一人称視点の映像知覚とWebエージェントの実行を橋渡しする初のベンチマークである。Ego2Webは、実世界の一人称視点映像記録と、その完了に視覚的理解、Webタスク計画、オンライン環境でのインタラクションを必要とするWebタスクを組み合わせる。我々は、電子商取引、メディア検索、知識検索など多様なWebタスク種別にわたって、構築が適切で高品質な映像とタスクのペアを精選するために、自動データ生成パイプラインと人的検証及び改良を組み合わせて利用する。 本ベンチマークの正確かつスケーラブルな評価を促進するため、我々は新規のLLM-as-a-Judgeによる自動評価手法、Ego2WebJudgeも開発した。これは人間の判断との一致率が約84%に達し、既存の評価手法を大幅に上回る。我々のEgo2Webを用いた多様なSoTAエージェントによる実験では、それらの性能は低く、全タスクカテゴリーにおいて大幅な改善の余地があることが示された。また、タスク設計に関する包括的アブレーション研究を実施し、提案タスクにおける正確な映像理解の必要性と、現在のエージェントの限界を明らかにした。 Ego2Webが、物理世界とデジタル世界をシームレスに「見て、理解し、行動する」真に有能なAIアシスタントの開発に向けた、重要な新たなリソースとなることを期待する。

English

Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.