LongVideoBench: Un Benchmark per la Comprensione di Contesti Lunghi e Intervallati tra Video e Linguaggio

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

Autori: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

Abstract

I modelli multimodali di grandi dimensioni (LMM) stanno elaborando input sempre più lunghi e ricchi. Nonostante i progressi, sono disponibili pochi benchmark pubblici per misurare tale sviluppo. Per colmare questa lacuna, introduciamo LongVideoBench, un benchmark di risposta alle domande che presenta input intervallati video-linguaggio della durata fino a un'ora. Il nostro benchmark include 3.763 video di varia lunghezza raccolti dal web con i relativi sottotitoli su temi diversi, progettati per valutare in modo completo gli LMM sulla comprensione multimodale a lungo termine. Per raggiungere questo obiettivo, interpretiamo la sfida principale come quella di recuperare e ragionare in modo accurato su informazioni multimodali dettagliate da input lunghi. A tal fine, formuliamo un nuovo compito di risposta alle domande video denominato ragionamento referenziale. Nello specifico, come parte della domanda, contiene una query referenziale che fa riferimento a contesti video correlati, chiamati contesto referenziato. Il modello deve quindi ragionare sui dettagli video rilevanti dal contesto referenziato. Seguendo il paradigma del ragionamento referenziale, abbiamo curato 6.678 domande a scelta multipla annotate da esseri umani in 17 categorie dettagliate, stabilendo uno dei benchmark più completi per la comprensione video di lunga durata. Le valutazioni suggeriscono che LongVideoBench presenta sfide significative anche per i modelli proprietari più avanzati (ad esempio GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), mentre le loro controparti open-source mostrano un divario di prestazioni ancora maggiore. Inoltre, i nostri risultati indicano che le prestazioni del modello sul benchmark migliorano solo quando sono in grado di elaborare più fotogrammi, posizionando LongVideoBench come un benchmark prezioso per valutare gli LMM di prossima generazione con contesto lungo.

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.