SiLVR: Простая структура для рассуждений на основе языка в видео

SiLVR: A Simple Language-based Video Reasoning Framework

May 30, 2025

Авторы: Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

cs.AI

Аннотация

Последние достижения в области оптимизации на этапе тестирования привели к значительному улучшению способностей к рассуждению у крупных языковых моделей (LLM), что позволяет им решать сложные задачи в математике и программировании. Однако способности к рассуждению у мультимодальных языковых моделей (MLLM) всё ещё значительно отстают, особенно в задачах, связанных с видео и языком. Для решения этой проблемы мы представляем SiLVR — простую языковую структуру для рассуждений на основе видео, которая разбивает сложное понимание видео на два этапа. На первом этапе SiLVR преобразует исходное видео в языковые представления с использованием мультисенсорных входных данных, таких как краткие описания клипов и субтитры для аудио/речи. На втором этапе языковые описания передаются в мощную языковую модель для решения сложных задач понимания видео и языка. Для обработки длинных мультисенсорных входных данных мы используем адаптивную схему сокращения токенов, которая динамически определяет временную гранулярность для выборки токенов. Наша простая, модульная и не требующая обучения структура для рассуждений на основе видео демонстрирует наилучшие результаты на тестах Video-MME (длинные), Video-MMMU (понимание), Video-MMLU, CGBench и EgoLife. Кроме того, наше эмпирическое исследование, посвящённое способностям к рассуждению на основе видео, показывает, что, несмотря на отсутствие явного обучения на видео, сильные языковые модели могут эффективно агрегировать мультисенсорную информацию из видео, речи и аудио для выполнения сложных задач временного, причинного, длинно-контекстного и связанного с приобретением знаний рассуждений на основе видео. Код доступен по адресу https://github.com/CeeZh/SILVR.

English

Recent advances in test-time optimization have led to remarkable reasoning capabilities in Large Language Models (LLMs), enabling them to solve highly complex problems in math and coding. However, the reasoning capabilities of multimodal LLMs (MLLMs) still significantly lag, especially for complex video-language tasks. To address this issue, we present SiLVR, a Simple Language-based Video Reasoning framework that decomposes complex video understanding into two stages. In the first stage, SiLVR transforms raw video into language-based representations using multisensory inputs, such as short clip captions and audio/speech subtitles. In the second stage, language descriptions are fed into a powerful reasoning LLM to solve complex video-language understanding tasks. To handle long-context multisensory inputs, we use an adaptive token reduction scheme, which dynamically determines the temporal granularity with which to sample the tokens. Our simple, modular, and training-free video reasoning framework achieves the best-reported results on Video-MME (long), Video-MMMU (comprehension), Video-MMLU, CGBench, and EgoLife. Furthermore, our empirical study focused on video reasoning capabilities shows that, despite not being explicitly trained on video, strong reasoning LLMs can effectively aggregate multisensory input information from video, speech, and audio for complex temporal, causal, long-context, and knowledge acquisition reasoning tasks in video. Code is available at https://github.com/CeeZh/SILVR.