VidEgoThink: Оценка возможностей понимания эгоцентрического видео для воплощенного искусственного интеллекта

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Авторы: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Аннотация

Недавние достижения в области многомодальных крупных языковых моделей (MLLMs) открыли новые перспективы для применения во воплощенном искусственном интеллекте. На основе предыдущих работ, таких как EgoThink, мы представляем VidEgoThink - комплексный бенчмарк для оценки возможностей понимания эгоцентрического видео. Для сокращения разрыва между MLLMs и управлением на низком уровне во воплощенном искусственном интеллекте, мы разрабатываем четыре ключевых взаимосвязанных задачи: ответы на вопросы по видео, планирование иерархии, визуальное опорное планирование и моделирование вознаграждения. Для минимизации затрат на ручную аннотацию мы разрабатываем автоматизированный конвейер генерации данных на основе набора данных Ego4D, используя предварительные знания и многомодальные возможности GPT-4o. Затем три человеческих аннотатора фильтруют сгенерированные данные для обеспечения разнообразия и качества, что приводит к созданию бенчмарка VidEgoThink. Мы проводим обширные эксперименты с тремя типами моделей: MLLMs на основе API, MLLMs на основе изображений с открытым исходным кодом и MLLMs на основе видео с открытым исходным кодом. Экспериментальные результаты показывают, что все MLLMs, включая GPT-4o, плохо справляются со всеми задачами, связанными с пониманием эгоцентрического видео. Эти результаты указывают на то, что базовым моделям все еще требуются значительные улучшения для эффективного применения в сценариях от первого лица во воплощенном искусственном интеллекте. В заключение, VidEgoThink отражает тенденцию в исследованиях к использованию MLLMs для эгоцентрического зрения, подобно человеческим способностям, обеспечивая активное наблюдение и взаимодействие в сложных реальных средах.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.