SiLVR : Un cadre simple de raisonnement vidéo basé sur le langage

SiLVR: A Simple Language-based Video Reasoning Framework

May 30, 2025

Auteurs: Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

cs.AI

Résumé

Les récents progrès dans l'optimisation au moment du test ont conduit à des capacités de raisonnement remarquables dans les modèles de langage de grande taille (LLMs), leur permettant de résoudre des problèmes hautement complexes en mathématiques et en codage. Cependant, les capacités de raisonnement des LLMs multimodaux (MLLMs) restent nettement en retard, en particulier pour les tâches complexes impliquant la vidéo et le langage. Pour résoudre ce problème, nous présentons SiLVR, un cadre simple de raisonnement vidéo basé sur le langage qui décompose la compréhension complexe de la vidéo en deux étapes. Dans la première étape, SiLVR transforme la vidéo brute en représentations basées sur le langage en utilisant des entrées multisensorielles, telles que des légendes de courts clips et des sous-titres audio/parole. Dans la deuxième étape, les descriptions linguistiques sont introduites dans un LLM de raisonnement puissant pour résoudre des tâches complexes de compréhension vidéo-langage. Pour gérer les entrées multisensorielles à contexte long, nous utilisons un schéma de réduction de jetons adaptatif, qui détermine dynamiquement la granularité temporelle à laquelle échantillonner les jetons. Notre cadre simple, modulaire et sans entraînement pour le raisonnement vidéo obtient les meilleurs résultats rapportés sur Video-MME (long), Video-MMMU (compréhension), Video-MMLU, CGBench et EgoLife. De plus, notre étude empirique axée sur les capacités de raisonnement vidéo montre que, bien qu'ils ne soient pas explicitement entraînés sur la vidéo, les LLMs de raisonnement puissants peuvent effectivement agréger des informations d'entrée multisensorielles provenant de la vidéo, de la parole et de l'audio pour des tâches de raisonnement temporel, causal, à contexte long et d'acquisition de connaissances dans la vidéo. Le code est disponible à l'adresse https://github.com/CeeZh/SILVR.

English

Recent advances in test-time optimization have led to remarkable reasoning capabilities in Large Language Models (LLMs), enabling them to solve highly complex problems in math and coding. However, the reasoning capabilities of multimodal LLMs (MLLMs) still significantly lag, especially for complex video-language tasks. To address this issue, we present SiLVR, a Simple Language-based Video Reasoning framework that decomposes complex video understanding into two stages. In the first stage, SiLVR transforms raw video into language-based representations using multisensory inputs, such as short clip captions and audio/speech subtitles. In the second stage, language descriptions are fed into a powerful reasoning LLM to solve complex video-language understanding tasks. To handle long-context multisensory inputs, we use an adaptive token reduction scheme, which dynamically determines the temporal granularity with which to sample the tokens. Our simple, modular, and training-free video reasoning framework achieves the best-reported results on Video-MME (long), Video-MMMU (comprehension), Video-MMLU, CGBench, and EgoLife. Furthermore, our empirical study focused on video reasoning capabilities shows that, despite not being explicitly trained on video, strong reasoning LLMs can effectively aggregate multisensory input information from video, speech, and audio for complex temporal, causal, long-context, and knowledge acquisition reasoning tasks in video. Code is available at https://github.com/CeeZh/SILVR.