VidEgoThink: Valutazione delle capacità di comprensione video egocentrico per l'AI incorporata

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Autori: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLMs) hanno aperto nuove vie per applicazioni nell'AI Incarnata. Basandoci sul lavoro precedente, EgoThink, presentiamo VidEgoThink, un benchmark esaustivo per valutare le capacità di comprensione video egocentrica. Per colmare il divario tra MLLMs e il controllo a basso livello nell'AI Incarnata, progettiamo quattro compiti chiave interconnessi: risposta a domande video, pianificazione gerarchica, ancoraggio visuale e modellazione del reward. Per ridurre al minimo i costi di annotazione manuale, sviluppiamo un flusso automatico di generazione dati basato sul dataset Ego4D, sfruttando le conoscenze pregresse e le capacità multimodali di GPT-4o. Successivamente, tre annotatori umani filtrano i dati generati per garantire diversità e qualità, dando luogo al benchmark VidEgoThink. Conduciamo ampi esperimenti con tre tipi di modelli: MLLMs basati su API, MLLMs basati su immagini open-source e MLLMs basati su video open-source. I risultati sperimentali indicano che tutti i MLLMs, inclusi GPT-4o, hanno prestazioni scadenti in tutti i compiti legati alla comprensione video egocentrica. Questi risultati suggeriscono che i modelli fondamentali richiedono ancora significativi progressi per essere applicati efficacemente a scenari in prima persona nell'AI Incarnata. In conclusione, VidEgoThink riflette una tendenza di ricerca verso l'utilizzo di MLLMs per la visione egocentrica, simile alle capacità umane, consentendo un'osservazione attiva e un'interazione negli ambienti reali complessi.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.