VidEgoThink: Avaliando as Capacidades de Compreensão de Vídeo Egocêntrico para IA Incorporada

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Autores: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Resumo

Os avanços recentes em Modelos de Linguagem Multimodais de Grande Escala (MLLMs) abriram novas possibilidades para aplicações em IA Incorporada. Construindo sobre trabalhos anteriores, EgoThink, introduzimos VidEgoThink, um benchmark abrangente para avaliar as capacidades de compreensão de vídeo egocêntrico. Para preencher a lacuna entre MLLMs e controle de baixo nível em IA Incorporada, projetamos quatro tarefas-chave inter-relacionadas: questionamento-resposta de vídeo, planejamento hierárquico, ancoramento visual e modelagem de recompensa. Para minimizar os custos de anotação manual, desenvolvemos um pipeline de geração de dados automático com base no conjunto de dados Ego4D, aproveitando o conhecimento prévio e as capacidades multimodais do GPT-4o. Três anotadores humanos então filtram os dados gerados para garantir diversidade e qualidade, resultando no benchmark VidEgoThink. Realizamos experimentos extensivos com três tipos de modelos: MLLMs baseados em API, MLLMs baseados em imagem de código aberto e MLLMs baseados em vídeo de código aberto. Os resultados experimentais indicam que todos os MLLMs, incluindo o GPT-4o, têm desempenho fraco em todas as tarefas relacionadas à compreensão de vídeo egocêntrico. Essas descobertas sugerem que os modelos fundamentais ainda requerem avanços significativos para serem aplicados de forma eficaz em cenários em primeira pessoa em IA Incorporada. Em conclusão, VidEgoThink reflete uma tendência de pesquisa em direção ao uso de MLLMs para visão egocêntrica, semelhante às capacidades humanas, possibilitando observação ativa e interação em ambientes complexos do mundo real.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.