VideoLLaMA 2: Progressi nella Modellizzazione Spazio-Temporale e nella Comprensione Audio nei Video-LLM
VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs
June 11, 2024
Autori: Zesen Cheng, Sicong Leng, Hang Zhang, Yifei Xin, Xin Li, Guanzheng Chen, Yongxin Zhu, Wenqi Zhang, Ziyang Luo, Deli Zhao, Lidong Bing
cs.AI
Abstract
In questo articolo presentiamo VideoLLaMA 2, una serie di Modelli Linguistici di Grande Dimensione per Video (Video-LLMs) progettati per migliorare la modellizzazione spazio-temporale e la comprensione audio in compiti orientati a video e audio. Basandosi sul suo predecessore, VideoLLaMA 2 incorpora un connettore Convoluzionale Spazio-Temporale (STC) su misura, che cattura efficacemente le dinamiche spaziali e temporali complesse dei dati video. Inoltre, integriamo un Ramo Audio nel modello attraverso un addestramento congiunto, arricchendo così le capacità di comprensione multimodale del modello incorporando in modo fluido gli indizi audio. Valutazioni approfondite su compiti di risposta a domande a scelta multipla su video (MC-VQA), risposta a domande aperte su video (OE-VQA) e descrizione video (VC) dimostrano che VideoLLaMA 2 ottiene costantemente risultati competitivi tra i modelli open-source e si avvicina persino ad alcuni modelli proprietari su diversi benchmark. Inoltre, VideoLLaMA 2 mostra miglioramenti significativi nei benchmark di risposta a domande solo audio e audio-video (AQA & OE-AVQA) rispetto ai modelli esistenti. Questi progressi sottolineano le prestazioni superiori di VideoLLaMA 2 nella comprensione multimodale, stabilendo un nuovo standard per i sistemi di analisi video intelligenti. Tutti i modelli sono pubblici per facilitare ulteriori ricerche.
English
In this paper, we present the VideoLLaMA 2, a set of Video Large Language
Models (Video-LLMs) designed to enhance spatial-temporal modeling and audio
understanding in video and audio-oriented tasks. Building upon its predecessor,
VideoLLaMA 2 incorporates a tailor-made Spatial-Temporal Convolution (STC)
connector, which effectively captures the intricate spatial and temporal
dynamics of video data. Additionally, we integrate an Audio Branch into the
model through joint training, thereby enriching the multimodal understanding
capabilities of the model by seamlessly incorporating audio cues. Comprehensive
evaluations on multiple-choice video question answering (MC-VQA), open-ended
video question answering (OE-VQA), and video captioning (VC) tasks demonstrate
that VideoLLaMA 2 consistently achieves competitive results among open-source
models and even gets close to some proprietary models on several benchmarks.
Furthermore, VideoLLaMA 2 exhibits reasonable improvements in audio-only and
audio-video question-answering (AQA & OE-AVQA) benchmarks over existing models.
These advancements underline VideoLLaMA 2's superior performance in multimodal
comprehension, setting a new standard for intelligent video analysis systems.
All models are public to facilitate further research.