MM-Ego: Naar het bouwen van egocentrische multimodale taalmodelen

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

Auteurs: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

Samenvatting

Dit onderzoek heeft tot doel om op een allesomvattende manier een multimodaal fundamentmodel te verkennen voor het begrijpen van egocentrische video's. Om dit doel te bereiken, werken we aan drie fronten. Ten eerste, aangezien er een gebrek is aan QA-gegevens voor het begrijpen van egocentrische video's, ontwikkelen we een gegevensengine die efficiënt 7 miljoen hoogwaardige QA-voorbeelden genereert voor egocentrische video's van 30 seconden tot een uur lang, gebaseerd op door mensen geannoteerde gegevens. Dit is momenteel de grootste egocentrische QA-dataset. Ten tweede dragen we bij aan een uitdagende egocentrische QA-benchmark met 629 video's en 7.026 vragen om de mogelijkheid van modellen te evalueren om visuele details te herkennen en te onthouden in video's van verschillende lengtes. We introduceren een nieuwe de-biasing evaluatiemethode om te helpen bij het verminderen van de onvermijdelijke taalbias die aanwezig is in de modellen die worden geëvalueerd. Ten derde stellen we een gespecialiseerde multimodale architectuur voor met een nieuw mechanisme genaamd "Memory Pointer Prompting". Deze opzet omvat een globale blikstap om een overkoepelend begrip van de hele video te krijgen en belangrijke visuele informatie te identificeren, gevolgd door een fallback-stap die de belangrijke visuele informatie gebruikt om antwoorden te genereren. Dit stelt het model in staat om de uitgebreide videoinhoud effectiever te begrijpen. Met de gegevens, benchmark en model bouwen we met succes MM-Ego, een egocentrische multimodale LLM die krachtige prestaties laat zien op het begrijpen van egocentrische video's.

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.