VidEgoThink：具体的AIのためのエゴセントリックビデオ理解能力の評価

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

著者: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

要旨

最近のMulti-modal Large Language Models（MLLMs）の進歩により、具体的AIの応用に新たな可能性が開かれました。以前の研究であるEgoThinkを基盤として、我々はVidEgoThinkを導入し、自己中心的なビデオ理解能力を評価する包括的なベンチマークを提供します。MLLMsと具体的AIにおける低レベル制御とのギャップを埋めるために、ビデオに関する質問応答、階層計画、視覚的な基盤、報酬モデリングという4つのキーと関連するタスクを設計します。手作業の注釈コストを最小限に抑えるために、Ego4Dデータセットに基づく自動データ生成パイプラインを開発し、GPT-4oの事前知識と多面的な能力を活用します。その後、3人の人間の注釈者が生成されたデータをフィルタリングして多様性と品質を確保し、VidEgoThinkベンチマークを作成します。APIベースのMLLMs、オープンソースの画像ベースのMLLMs、およびオープンソースのビデオベースのMLLMsの3種類のモデルを用いて、広範な実験を実施します。実験結果によると、GPT-4oを含むすべてのMLLMsは、自己中心的なビデオ理解に関連するすべてのタスクで低い性能を示しました。これらの結果から、基盤モデルは、具体的AIにおける第一者視点のシナリオに効果的に適用するためには、依然として大幅な進歩が必要であることが示唆されます。結論として、VidEgoThinkは、MLLMsを用いた自己中心的なビジョンに関する研究トレンドを反映しており、人間の能力に似た、複雑な現実世界環境での積極的な観察と相互作用を可能にします。

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.