VidEgoThink: Evaluación de las capacidades de comprensión de video egocéntrico para la IA encarnada

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Autores: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Resumen

Los recientes avances en Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) han abierto nuevas vías para aplicaciones en IA Encarnada. Basándonos en trabajos previos como EgoThink, presentamos VidEgoThink, un completo banco de pruebas para evaluar las capacidades de comprensión de video egocéntrico. Con el objetivo de cerrar la brecha entre MLLMs y el control de bajo nivel en IA Encarnada, diseñamos cuatro tareas clave interrelacionadas: respuesta a preguntas de video, planificación jerárquica, fundamentos visuales y modelado de recompensas. Para minimizar los costos de anotación manual, desarrollamos un proceso automático de generación de datos basado en el conjunto de datos Ego4D, aprovechando el conocimiento previo y las capacidades multimodales de GPT-4o. Luego, tres anotadores humanos filtran los datos generados para garantizar diversidad y calidad, lo que resulta en el banco de pruebas VidEgoThink. Realizamos experimentos exhaustivos con tres tipos de modelos: MLLMs basados en API, MLLMs basados en imágenes de código abierto y MLLMs basados en videos de código abierto. Los resultados experimentales indican que todos los MLLMs, incluido GPT-4o, tienen un rendimiento deficiente en todas las tareas relacionadas con la comprensión de video egocéntrico. Estos hallazgos sugieren que los modelos base aún requieren avances significativos para aplicarse de manera efectiva a escenarios en primera persona en IA Encarnada. En conclusión, VidEgoThink refleja una tendencia de investigación hacia el uso de MLLMs para visión egocéntrica, similar a las capacidades humanas, lo que permite la observación activa y la interacción en entornos del mundo real complejos.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.