MM-Ego: エゴセントリックなマルチモーダルLLMの構築に向けて

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

著者: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

要旨

この研究は、エゴセントリックビデオ理解のためのマルチモーダルな基盤モデルの構築を包括的に探求することを目的としています。この目標を達成するために、我々は3つのフロントで取り組んでいます。まず、エゴセントリックビデオ理解のためのQAデータが不足しているため、人手による注釈付きデータに基づいて、30秒から1時間の範囲のエゴセントリックビデオについて、効率的に7Mの高品質QAサンプルを生成するデータエンジンを開発しています。これは現在、最大のエゴセントリックQAデータセットです。第二に、異なる長さのビデオにわたる視覚的詳細の認識と記憶能力をモデルが評価するために、629本のビデオと7,026の質問を含む難解なエゴセントリックQAベンチマークを提供しています。評価されるモデルに存在する避けられない言語バイアスを緩和するための新しいデバイアス評価方法を導入しています。第三に、新しい「メモリポインタープロンプティング」メカニズムを特徴とする専門のマルチモーダルアーキテクチャを提案しています。この設計には、ビデオ全体の包括的な理解を得て、主要な視覚情報を特定するためのグローバルグリムスステップが含まれ、その後、主要な視覚情報を利用して応答を生成するフォールバックステップが続きます。これにより、モデルはより効果的に拡張されたビデオコンテンツを理解することができます。データ、ベンチマーク、モデルを用いて、我々は強力なパフォーマンスを示すエゴセントリックマルチモーダルLLMであるMM-Egoを成功裏に構築しました。

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.