SiLVR: Un Framework Semplice per il Ragionamento su Video Basato sul Linguaggio

SiLVR: A Simple Language-based Video Reasoning Framework

May 30, 2025

Autori: Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

cs.AI

Abstract

I recenti progressi nell'ottimizzazione in fase di test hanno portato a capacità di ragionamento straordinarie nei Large Language Models (LLM), consentendo loro di risolvere problemi altamente complessi in matematica e programmazione. Tuttavia, le capacità di ragionamento dei modelli multimodali LLM (MLLM) rimangono significativamente inferiori, specialmente per compiti complessi che coinvolgono video e linguaggio. Per affrontare questo problema, presentiamo SiLVR, un framework semplice per il ragionamento video basato sul linguaggio che scompone la comprensione complessa dei video in due fasi. Nella prima fase, SiLVR trasforma il video grezzo in rappresentazioni basate sul linguaggio utilizzando input multisensoriali, come didascalie di brevi clip e sottotitoli audio/dialoghi. Nella seconda fase, le descrizioni linguistiche vengono fornite a un potente LLM di ragionamento per risolvere compiti complessi di comprensione video-linguaggio. Per gestire input multisensoriali a contesto lungo, utilizziamo uno schema di riduzione adattiva dei token, che determina dinamicamente la granularità temporale con cui campionare i token. Il nostro framework semplice, modulare e privo di addestramento per il ragionamento video ottiene i migliori risultati riportati su Video-MME (lungo), Video-MMMU (comprensione), Video-MMLU, CGBench ed EgoLife. Inoltre, il nostro studio empirico focalizzato sulle capacità di ragionamento video mostra che, nonostante non siano stati esplicitamente addestrati sui video, i potenti LLM di ragionamento possono aggregare efficacemente informazioni multisensoriali da video, dialoghi e audio per compiti complessi di ragionamento temporale, causale, a contesto lungo e di acquisizione di conoscenza nei video. Il codice è disponibile all'indirizzo https://github.com/CeeZh/SILVR.

English

Recent advances in test-time optimization have led to remarkable reasoning capabilities in Large Language Models (LLMs), enabling them to solve highly complex problems in math and coding. However, the reasoning capabilities of multimodal LLMs (MLLMs) still significantly lag, especially for complex video-language tasks. To address this issue, we present SiLVR, a Simple Language-based Video Reasoning framework that decomposes complex video understanding into two stages. In the first stage, SiLVR transforms raw video into language-based representations using multisensory inputs, such as short clip captions and audio/speech subtitles. In the second stage, language descriptions are fed into a powerful reasoning LLM to solve complex video-language understanding tasks. To handle long-context multisensory inputs, we use an adaptive token reduction scheme, which dynamically determines the temporal granularity with which to sample the tokens. Our simple, modular, and training-free video reasoning framework achieves the best-reported results on Video-MME (long), Video-MMMU (comprehension), Video-MMLU, CGBench, and EgoLife. Furthermore, our empirical study focused on video reasoning capabilities shows that, despite not being explicitly trained on video, strong reasoning LLMs can effectively aggregate multisensory input information from video, speech, and audio for complex temporal, causal, long-context, and knowledge acquisition reasoning tasks in video. Code is available at https://github.com/CeeZh/SILVR.