LongVideoBench: Ein Benchmark für das Verstehen von Videosprache mit langem Kontextinterleaving.

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

Autoren: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

Zusammenfassung

Große multimodale Modelle (LMMs) verarbeiten zunehmend längere und reichhaltigere Eingaben. Trotz des Fortschritts stehen nur wenige öffentliche Benchmarks zur Verfügung, um eine solche Entwicklung zu messen. Um diese Lücke zu schließen, stellen wir LongVideoBench vor, einen Frage-Antwort-Benchmark, der video-sprachlich durchsetzte Eingaben von bis zu einer Stunde Länge bietet. Unser Benchmark umfasst 3.763 Web-gesammelte Videos mit variabler Länge und ihren Untertiteln zu verschiedenen Themen, die darauf ausgelegt sind, LMMs umfassend auf ihr Verständnis von langfristiger multimodaler Verarbeitung zu bewerten. Um dies zu erreichen, betrachten wir die Hauptherausforderung darin, detaillierte multimodale Informationen aus langen Eingaben genau abzurufen und zu analysieren. Daher formulieren wir eine neuartige Video-Frage-Antwort-Aufgabe namens "referring reasoning". Speziell enthält die Frage einen Verweisungs-Query, der sich auf verwandte Video-Kontexte bezieht, genannt referenzierter Kontext. Das Modell muss dann relevante Video-Details aus dem referenzierten Kontext analysieren. Im Rahmen des Verweisungs-Reasonings kuratieren wir 6.678 menschenannotierte Multiple-Choice-Fragen in 17 feingranulierten Kategorien und etablieren einen der umfassendsten Benchmarks für das Verständnis von langen Videoinhalten. Evaluationen deuten darauf hin, dass LongVideoBench selbst für die fortschrittlichsten proprietären Modelle (z.B. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo) signifikante Herausforderungen darstellt, während ihre Open-Source-Gegenstücke einen noch größeren Leistungsunterschied aufweisen. Darüber hinaus zeigen unsere Ergebnisse, dass die Leistung der Modelle im Benchmark nur dann verbessert wird, wenn sie in der Lage sind, mehr Frames zu verarbeiten, was LongVideoBench als wertvollen Benchmark zur Bewertung von LMMs der nächsten Generation mit langen Kontexten positioniert.

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.