VideoAgent: Comprensione di video di lunga durata con un modello linguistico di grandi dimensioni come agente

VideoAgent: Long-form Video Understanding with Large Language Model as Agent

March 15, 2024

Autori: Xiaohan Wang, Yuhui Zhang, Orr Zohar, Serena Yeung-Levy

cs.AI

Abstract

La comprensione di video di lunga durata rappresenta una sfida significativa nell'ambito della visione artificiale, richiedendo un modello in grado di ragionare su sequenze multimodali estese. Ispirati dal processo cognitivo umano per la comprensione di video di lunga durata, poniamo l'accento sul ragionamento interattivo e sulla pianificazione piuttosto che sulla capacità di elaborare input visivi prolungati. Introduciamo un sistema innovativo basato su agenti, VideoAgent, che utilizza un modello linguistico di grandi dimensioni come agente centrale per identificare e compilare in modo iterativo le informazioni cruciali necessarie a rispondere a una domanda, con modelli di base visione-linguaggio che fungono da strumenti per tradurre e recuperare informazioni visive. Valutato sui benchmark impegnativi EgoSchema e NExT-QA, VideoAgent raggiunge un'accuratezza zero-shot del 54,1% e del 71,3% utilizzando in media solo 8,4 e 8,2 frame. Questi risultati dimostrano la superiorità in termini di efficacia ed efficienza del nostro metodo rispetto agli approcci più avanzati attuali, evidenziando il potenziale degli approcci basati su agenti nel far progredire la comprensione di video di lunga durata.

English

Long-form video understanding represents a significant challenge within computer vision, demanding a model capable of reasoning over long multi-modal sequences. Motivated by the human cognitive process for long-form video understanding, we emphasize interactive reasoning and planning over the ability to process lengthy visual inputs. We introduce a novel agent-based system, VideoAgent, that employs a large language model as a central agent to iteratively identify and compile crucial information to answer a question, with vision-language foundation models serving as tools to translate and retrieve visual information. Evaluated on the challenging EgoSchema and NExT-QA benchmarks, VideoAgent achieves 54.1% and 71.3% zero-shot accuracy with only 8.4 and 8.2 frames used on average. These results demonstrate superior effectiveness and efficiency of our method over the current state-of-the-art methods, highlighting the potential of agent-based approaches in advancing long-form video understanding.