SiLVR: Ein einfaches sprachbasiertes Framework für die Videoanalyse

SiLVR: A Simple Language-based Video Reasoning Framework

May 30, 2025

Autoren: Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

cs.AI

Zusammenfassung

Jüngste Fortschritte in der Testzeitoptimierung haben zu bemerkenswerten Fähigkeiten in der Argumentation von Large Language Models (LLMs) geführt, die es ihnen ermöglichen, hochkomplexe Probleme in Mathematik und Programmierung zu lösen. Die Argumentationsfähigkeiten von multimodalen LLMs (MLLMs) liegen jedoch noch deutlich zurück, insbesondere bei komplexen Video-Sprache-Aufgaben. Um dieses Problem zu lösen, stellen wir SiLVR vor, ein einfaches sprachbasiertes Video-Argumentationsframework, das das komplexe Video-Verständnis in zwei Stufen zerlegt. In der ersten Stufe transformiert SiLVR Rohvideos in sprachbasierte Darstellungen unter Verwendung multisensorischer Eingaben wie kurzer Clip-Beschreibungen und Audio/Sprach-Untertitel. In der zweiten Stufe werden die Sprachbeschreibungen in ein leistungsstarkes Argumentations-LLM eingespeist, um komplexe Video-Sprache-Verständnisaufgaben zu lösen. Um lange Kontexte multisensorischer Eingaben zu verarbeiten, verwenden wir ein adaptives Token-Reduktionsschema, das die zeitliche Granularität für die Token-Abtastung dynamisch bestimmt. Unser einfaches, modulares und trainingsfreies Video-Argumentationsframework erzielt die besten berichteten Ergebnisse auf Video-MME (lang), Video-MMMU (Verständnis), Video-MMLU, CGBench und EgoLife. Darüber hinaus zeigt unsere empirische Studie zu Video-Argumentationsfähigkeiten, dass starke Argumentations-LLMs, obwohl sie nicht explizit auf Video trainiert wurden, effektiv multisensorische Eingabeinformationen aus Video, Sprache und Audio für komplexe zeitliche, kausale, langfristige und Wissenserwerbs-Argumentationsaufgaben in Videos aggregieren können. Der Code ist verfügbar unter https://github.com/CeeZh/SILVR.

English

Recent advances in test-time optimization have led to remarkable reasoning capabilities in Large Language Models (LLMs), enabling them to solve highly complex problems in math and coding. However, the reasoning capabilities of multimodal LLMs (MLLMs) still significantly lag, especially for complex video-language tasks. To address this issue, we present SiLVR, a Simple Language-based Video Reasoning framework that decomposes complex video understanding into two stages. In the first stage, SiLVR transforms raw video into language-based representations using multisensory inputs, such as short clip captions and audio/speech subtitles. In the second stage, language descriptions are fed into a powerful reasoning LLM to solve complex video-language understanding tasks. To handle long-context multisensory inputs, we use an adaptive token reduction scheme, which dynamically determines the temporal granularity with which to sample the tokens. Our simple, modular, and training-free video reasoning framework achieves the best-reported results on Video-MME (long), Video-MMMU (comprehension), Video-MMLU, CGBench, and EgoLife. Furthermore, our empirical study focused on video reasoning capabilities shows that, despite not being explicitly trained on video, strong reasoning LLMs can effectively aggregate multisensory input information from video, speech, and audio for complex temporal, causal, long-context, and knowledge acquisition reasoning tasks in video. Code is available at https://github.com/CeeZh/SILVR.