SiLVR: Een Eenvoudig Taalgebaseerd Kader voor Videoredenering

SiLVR: A Simple Language-based Video Reasoning Framework

May 30, 2025

Auteurs: Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

cs.AI

Samenvatting

Recente vooruitgang in testtijdoptimalisatie heeft geleid tot opmerkelijke redeneervaardigheden in Large Language Models (LLM's), waardoor ze zeer complexe problemen in wiskunde en codering kunnen oplossen. De redeneervaardigheden van multimodale LLM's (MLLM's) blijven echter aanzienlijk achter, vooral voor complexe video-taaltaken. Om dit probleem aan te pakken, presenteren we SiLVR, een eenvoudig taalgebaseerd videoredeneerframework dat complexe videobegrip opsplitst in twee fasen. In de eerste fase transformeert SiLVR ruwe video in taalgebaseerde representaties met behulp van multisensorische inputs, zoals korte clipbeschrijvingen en audio/spraakondertitels. In de tweede fase worden taal beschrijvingen ingevoerd in een krachtige redeneer-LLM om complexe video-taalbegriptaken op te lossen. Om lange-context multisensorische inputs te verwerken, gebruiken we een adaptief tokenreductieschema, dat dynamisch de temporele granulariteit bepaalt waarmee de tokens worden bemonsterd. Ons eenvoudige, modulaire en trainingsvrije videoredeneerframework behaalt de beste gerapporteerde resultaten op Video-MME (lang), Video-MMMU (begrip), Video-MMLU, CGBench en EgoLife. Bovendien toont onze empirische studie gericht op videoredeneervaardigheden aan dat, ondanks dat ze niet expliciet zijn getraind op video, sterke redeneer-LLM's effectief multisensorische inputinformatie uit video, spraak en audio kunnen aggregeren voor complexe temporele, causale, lange-context en kennisverwervingsredeneertaken in video. Code is beschikbaar op https://github.com/CeeZh/SILVR.

English

Recent advances in test-time optimization have led to remarkable reasoning capabilities in Large Language Models (LLMs), enabling them to solve highly complex problems in math and coding. However, the reasoning capabilities of multimodal LLMs (MLLMs) still significantly lag, especially for complex video-language tasks. To address this issue, we present SiLVR, a Simple Language-based Video Reasoning framework that decomposes complex video understanding into two stages. In the first stage, SiLVR transforms raw video into language-based representations using multisensory inputs, such as short clip captions and audio/speech subtitles. In the second stage, language descriptions are fed into a powerful reasoning LLM to solve complex video-language understanding tasks. To handle long-context multisensory inputs, we use an adaptive token reduction scheme, which dynamically determines the temporal granularity with which to sample the tokens. Our simple, modular, and training-free video reasoning framework achieves the best-reported results on Video-MME (long), Video-MMMU (comprehension), Video-MMLU, CGBench, and EgoLife. Furthermore, our empirical study focused on video reasoning capabilities shows that, despite not being explicitly trained on video, strong reasoning LLMs can effectively aggregate multisensory input information from video, speech, and audio for complex temporal, causal, long-context, and knowledge acquisition reasoning tasks in video. Code is available at https://github.com/CeeZh/SILVR.