LongVideoBench: 長文脈インタリーブ動画-言語理解のためのベンチマーク

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

著者: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

要旨

大規模マルチモーダルモデル（LMMs）は、ますます長くて豊かな入力を処理するようになっています。進展はあるものの、そのような発展を測定するための公開ベンチマークはほとんどありません。このギャップを埋めるため、私たちはLongVideoBenchを紹介します。これは、最大1時間に及ぶ映像と言語が交互に入力される質問応答ベンチマークです。このベンチマークには、多様なテーマにわたる3,763本の長さが異なるウェブ収集映像とその字幕が含まれており、LMMsの長期的なマルチモーダル理解を包括的に評価するために設計されています。これを実現するため、私たちは主要な課題を、長い入力から詳細なマルチモーダル情報を正確に検索し、推論することと解釈しました。そのため、参照推論と呼ばれる新しい映像質問応答タスクを考案しました。具体的には、質問の一部として、関連する映像コンテキストを参照する参照クエリが含まれており、これを参照コンテキストと呼びます。モデルは、参照コンテキストから関連する映像の詳細を推論する必要があります。参照推論のパラダイムに従い、17の細分化されたカテゴリーにわたる6,678の人間による注釈付き多肢選択問題をキュレーションし、長編映像理解のための最も包括的なベンチマークの一つを確立しました。評価によると、LongVideoBenchは最も先進的なプロプライエタリモデル（例：GPT-4o、Gemini-1.5-Pro、GPT-4-Turbo）にとっても大きな課題を提示し、オープンソースの対応モデルはさらに大きな性能差を示しています。さらに、私たちの結果は、モデルのベンチマークでの性能が、より多くのフレームを処理できる場合にのみ向上することを示しており、LongVideoBenchを将来世代の長文脈LMMsを評価するための貴重なベンチマークとして位置づけています。

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.