MM-Ego : Vers la construction de LLMs multimodaux égocentriques

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

Auteurs: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

Résumé

Cette recherche vise à explorer de manière exhaustive la construction d'un modèle fondamental multimodal pour la compréhension des vidéos égocentriques. Pour atteindre cet objectif, nous travaillons sur trois fronts. Tout d'abord, étant donné le manque de données de questions-réponses pour la compréhension des vidéos égocentriques, nous développons un moteur de données qui génère efficacement 7 millions d'échantillons de questions-réponses de haute qualité pour des vidéos égocentriques d'une durée de 30 secondes à une heure, basé sur des données annotées par des humains. Il s'agit actuellement du plus grand ensemble de données de questions-réponses égocentriques. Deuxièmement, nous contribuons à un banc d'essai de questions-réponses égocentriques exigeant, comprenant 629 vidéos et 7 026 questions pour évaluer la capacité des modèles à reconnaître et mémoriser les détails visuels à travers des vidéos de longueurs variables. Nous introduisons une nouvelle méthode d'évaluation de débiaisage pour aider à atténuer le biais linguistique inévitable présent dans les modèles évalués. Troisièmement, nous proposons une architecture multimodale spécialisée comprenant un mécanisme novateur de "Pointeur de Mémoire Incitatif". Cette conception inclut une étape de vision globale pour obtenir une compréhension globale de la vidéo entière et identifier les informations visuelles clés, suivie d'une étape de secours qui utilise les informations visuelles clés pour générer des réponses. Cela permet au modèle de comprendre plus efficacement le contenu vidéo étendu. Avec les données, le banc d'essai et le modèle, nous construisons avec succès MM-Ego, un LLM multimodal égocentrique qui affiche des performances puissantes en matière de compréhension des vidéos égocentriques.

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.