VidEgoThink : Évaluation des capacités de compréhension vidéo égocentrique pour l'IA incarnée

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Auteurs: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Résumé

Les récents progrès des Modèles de Langage Multimodaux de Grande Taille (MLMT) ont ouvert de nouvelles voies pour les applications en Intelligence Artificielle Incarnée. S'appuyant sur le travail précédent, EgoThink, nous présentons VidEgoThink, une référence complète pour évaluer les capacités de compréhension vidéo égocentrique. Pour combler le fossé entre les MLMT et le contrôle de bas niveau en Intelligence Artificielle Incarnée, nous concevons quatre tâches clés interdépendantes : question/réponse vidéo, planification hiérarchique, ancrage visuel et modélisation de la récompense. Afin de réduire les coûts d'annotation manuelle, nous développons un pipeline automatique de génération de données basé sur l'ensemble de données Ego4D, exploitant les connaissances antérieures et les capacités multimodales du GPT-4o. Trois annotateurs humains filtrent ensuite les données générées pour garantir la diversité et la qualité, aboutissant à la référence VidEgoThink. Nous menons des expériences approfondies avec trois types de modèles : des MLMT basés sur API, des MLMT basés sur des images en open source, et des MLMT basés sur des vidéos en open source. Les résultats expérimentaux indiquent que tous les MLMT, y compris le GPT-4o, ont des performances médiocres sur toutes les tâches liées à la compréhension vidéo égocentrique. Ces résultats suggèrent que les modèles de base nécessitent encore des avancées significatives pour être efficacement appliqués aux scénarios à la première personne en Intelligence Artificielle Incarnée. En conclusion, VidEgoThink reflète une tendance de recherche vers l'utilisation des MLMT pour la vision égocentrique, similaire aux capacités humaines, permettant l'observation active et l'interaction dans des environnements réels complexes.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.