MM-Ego: к построению эгоцентрических мультимодальных LLMs

MM-Ego: Towards Building Egocentric Multimodal LLMs

October 9, 2024

Авторы: Hanrong Ye, Haotian Zhang, Erik Daxberger, Lin Chen, Zongyu Lin, Yanghao Li, Bowen Zhang, Haoxuan You, Dan Xu, Zhe Gan, Jiasen Lu, Yinfei Yang

cs.AI

Аннотация

Данное исследование направлено на всестороннее изучение создания мультимодельной базовой модели для понимания эгоцентрического видео. Для достижения этой цели мы работаем в трех направлениях. Во-первых, поскольку отсутствуют данные QA для понимания эгоцентрического видео, мы разрабатываем движок данных, который эффективно генерирует 7 миллионов высококачественных образцов QA для эгоцентрических видео продолжительностью от 30 секунд до одного часа на основе данных, аннотированных людьми. В настоящее время это самый крупный набор данных QA для эгоцентрического видео. Во-вторых, мы представляем сложный бенчмарк эгоцентрического QA с 629 видео и 7 026 вопросами для оценки способности моделей распознавать и запоминать визуальные детали в видео различной длины. Мы предлагаем новый метод оценки дебиасинга для помощи в смягчении неизбежного языкового искажения, присутствующего в оцениваемых моделях. В-третьих, мы предлагаем специализированную мультимодельную архитектуру с новым механизмом "Memory Pointer Prompting". Этот дизайн включает этап глобального обзора для получения общего понимания всего видео и выявления ключевой визуальной информации, за которым следует этап резервного варианта, использующий ключевую визуальную информацию для генерации ответов. Это позволяет модели более эффективно понимать расширенное видео. С данными, бенчмарком и моделью мы успешно создаем MM-Ego, эгоцентрическую мультимодельную LLM, которая показывает мощную производительность в понимании эгоцентрического видео.

English

This research aims to comprehensively explore building a multimodal foundation model for egocentric video understanding. To achieve this goal, we work on three fronts. First, as there is a lack of QA data for egocentric video understanding, we develop a data engine that efficiently generates 7M high-quality QA samples for egocentric videos ranging from 30 seconds to one hour long, based on human-annotated data. This is currently the largest egocentric QA dataset. Second, we contribute a challenging egocentric QA benchmark with 629 videos and 7,026 questions to evaluate the models' ability in recognizing and memorizing visual details across videos of varying lengths. We introduce a new de-biasing evaluation method to help mitigate the unavoidable language bias present in the models being evaluated. Third, we propose a specialized multimodal architecture featuring a novel "Memory Pointer Prompting" mechanism. This design includes a global glimpse step to gain an overarching understanding of the entire video and identify key visual information, followed by a fallback step that utilizes the key visual information to generate responses. This enables the model to more effectively comprehend extended video content. With the data, benchmark, and model, we successfully build MM-Ego, an egocentric multimodal LLM that shows powerful performance on egocentric video understanding.