LongVideoBench : Un benchmark pour la compréhension intercalée vidéo-langage en contexte long

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

Auteurs: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

Résumé

Les modèles multimodaux de grande taille (LMMs) traitent des entrées de plus en plus longues et riches. Malgré les progrès réalisés, peu de benchmarks publics sont disponibles pour mesurer un tel développement. Pour combler cette lacune, nous introduisons LongVideoBench, un benchmark de questions-réponses qui propose des entrées intercalées vidéo-texte pouvant durer jusqu'à une heure. Notre benchmark comprend 3 763 vidéos de longueurs variées collectées sur le web, accompagnées de leurs sous-titres et couvrant des thèmes divers, conçues pour évaluer de manière exhaustive les LMMs sur la compréhension multimodale à long terme. Pour y parvenir, nous interprétons le défi principal comme étant de récupérer et de raisonner avec précision sur des informations multimodales détaillées à partir d'entrées longues. Ainsi, nous formulons une nouvelle tâche de questions-réponses vidéo appelée raisonnement référentiel. Plus précisément, dans le cadre de la question, celle-ci contient une requête référentielle qui fait référence à des contextes vidéo connexes, appelés contexte référent. Le modèle doit ensuite raisonner sur les détails pertinents de la vidéo à partir du contexte référent. Suivant le paradigme du raisonnement référentiel, nous avons compilé 6 678 questions à choix multiples annotées par des humains, réparties en 17 catégories fines, établissant ainsi l'un des benchmarks les plus complets pour la compréhension de vidéos longues. Les évaluations suggèrent que LongVideoBench présente des défis significatifs même pour les modèles propriétaires les plus avancés (par exemple, GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), tandis que leurs homologues open source montrent un écart de performance encore plus important. En outre, nos résultats indiquent que la performance des modèles sur le benchmark ne s'améliore que lorsqu'ils sont capables de traiter plus de trames, positionnant LongVideoBench comme un benchmark précieux pour évaluer les futures générations de LMMs à contexte long.

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.