VidEgoThink: Bewertung der Fähigkeiten zur Verständnis egozentrischer Videos für verkörperte KI

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Autoren: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei Multi-modalen Large Language Models (MLLMs) haben neue Möglichkeiten für Anwendungen in der Embodied AI eröffnet. Aufbauend auf früheren Arbeiten, EgoThink, stellen wir VidEgoThink vor, einen umfassenden Benchmark zur Bewertung der Fähigkeiten zur Verständnis von egozentrischen Videos. Um die Kluft zwischen MLLMs und der niedrigstufigen Steuerung in der Embodied AI zu überbrücken, entwerfen wir vier Schlüsselaufgaben: Video-Fragenbeantwortung, Hierarchieplanung, visuelle Verankerung und Belohnungsmodellierung. Um manuelle Annotierungskosten zu minimieren, entwickeln wir eine automatische Datengenerierungspipeline basierend auf dem Ego4D-Datensatz, unter Nutzung des Vorwissens und der multimodalen Fähigkeiten von GPT-4o. Drei menschliche Annotatoren filtern dann die generierten Daten, um Vielfalt und Qualität sicherzustellen, was zum VidEgoThink-Benchmark führt. Wir führen umfangreiche Experimente mit drei Arten von Modellen durch: API-basierte MLLMs, Open-Source-Bild-basierte MLLMs und Open-Source-Video-basierte MLLMs. Die experimentellen Ergebnisse deuten darauf hin, dass alle MLLMs, einschließlich GPT-4o, bei allen Aufgaben im Zusammenhang mit dem Verständnis von egozentrischen Videos schlecht abschneiden. Diese Erkenntnisse legen nahe, dass Grundlagenmodelle noch erhebliche Fortschritte benötigen, um effektiv auf Szenarien aus der Ich-Perspektive in der Embodied AI angewendet zu werden. Abschließend spiegelt VidEgoThink einen Forschungstrend wider, MLLMs für egozentrische Visionen einzusetzen, ähnlich den menschlichen Fähigkeiten, die eine aktive Beobachtung und Interaktion in komplexen realen Umgebungen ermöglichen.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.