MM-Ego: Rumo à Construção de LLMs Multimodais Egocêntricos

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

Autores: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

Resumo

Esta pesquisa tem como objetivo explorar de forma abrangente a construção de um modelo de base multimodal para compreensão de vídeos egocêntricos. Para alcançar esse objetivo, trabalhamos em três frentes. Primeiramente, devido à escassez de dados de perguntas e respostas para compreensão de vídeos egocêntricos, desenvolvemos um mecanismo de dados que gera de forma eficiente 7 mil amostras de perguntas e respostas de alta qualidade para vídeos egocêntricos com duração de 30 segundos a uma hora, com base em dados anotados por humanos. Atualmente, este é o maior conjunto de dados de perguntas e respostas egocêntricas. Em segundo lugar, contribuímos com um desafiador benchmark de perguntas e respostas egocêntricas, contendo 629 vídeos e 7.026 perguntas, para avaliar a capacidade dos modelos em reconhecer e memorizar detalhes visuais em vídeos de diferentes durações. Introduzimos um novo método de avaliação de desvio para ajudar a mitigar o viés linguístico inevitável presente nos modelos em avaliação. Em terceiro lugar, propomos uma arquitetura multimodal especializada apresentando um mecanismo inovador de "Memory Pointer Prompting". Este design inclui uma etapa de visão global para obter uma compreensão abrangente do vídeo inteiro e identificar informações visuais-chave, seguida por uma etapa de fallback que utiliza as informações visuais-chave para gerar respostas. Isso permite que o modelo compreenda de forma mais eficaz o conteúdo estendido do vídeo. Com os dados, benchmark e modelo, construímos com sucesso o MM-Ego, um LLM multimodal egocêntrico que demonstra um desempenho poderoso na compreensão de vídeos egocêntricos.

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.