MM-Ego: Hacia la construcción de LLMs multimodales egocéntricos

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

Autores: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

Resumen

Esta investigación tiene como objetivo explorar de manera exhaustiva la creación de un modelo base multimodal para la comprensión de videos egocéntricos. Para lograr este objetivo, trabajamos en tres frentes. En primer lugar, dado que existe una falta de datos de preguntas y respuestas para la comprensión de videos egocéntricos, desarrollamos un motor de datos que genera de manera eficiente 7 millones de muestras de preguntas y respuestas de alta calidad para videos egocéntricos que van desde 30 segundos hasta una hora de duración, basados en datos anotados por humanos. Actualmente, este es el conjunto de datos de preguntas y respuestas egocéntricas más grande. En segundo lugar, contribuimos con un desafiante conjunto de datos de preguntas y respuestas egocéntricas que consta de 629 videos y 7,026 preguntas para evaluar la capacidad de los modelos para reconocer y memorizar detalles visuales a lo largo de videos de diferentes longitudes. Introducimos un nuevo método de evaluación de desbias para ayudar a mitigar el sesgo de lenguaje inevitable presente en los modelos evaluados. En tercer lugar, proponemos una arquitectura multimodal especializada que presenta un novedoso mecanismo de "Memory Pointer Prompting". Este diseño incluye un paso de visión global para obtener una comprensión general del video completo e identificar información visual clave, seguido por un paso de respaldo que utiliza la información visual clave para generar respuestas. Esto permite que el modelo comprenda de manera más efectiva el contenido extenso del video. Con los datos, el conjunto de datos de referencia y el modelo, construimos exitosamente MM-Ego, un LLM multimodal egocéntrico que muestra un rendimiento potente en la comprensión de videos egocéntricos.

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.