REVISOR: За пределами текстового отражения к мультимодальному интроспективному мышлению в понимании длинных видео
REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
November 17, 2025
Авторы: Jiaze Li, Hao Yin, Wenhui Tan, Jingyang Chen, Boshen Xu, Yuxun Qu, Yijing Chen, Jianzhong Ju, Zhenbo Luo, Jian Luan
cs.AI
Аннотация
Механизмы саморефлексии, основанные исключительно на текстовых процессах переосмысления, демонстрируют хорошие результаты в большинстве мультимодальных задач. Однако при прямом применении к сценариям понимания длинных видео они проявляют очевидные ограничения. Фундаментальные причины этого заключаются в двух аспектах: (1) понимание длинных видео связано с более богатым и динамичным визуальным входным потоком, что означает, что переосмысления лишь текстовой информации недостаточно и требуется дальнейший процесс рефлексии, специально нацеленный на визуальную информацию; (2) чисто текстовые механизмы рефлексии не обладают способностью к кросс-модальному взаимодействию, что не позволяет им полностью интегрировать визуальную информацию в процессе размышления. Мотивированные этими инсайтами, мы предлагаем REVISOR (REflective VIsual Segment Oriented Reasoning) — новую структуру для инструментально-расширенной мультимодальной рефлексии. REVISOR позволяет MLLM совместно выстраивать интроспективные процессы рефлексии across текстовой и визуальной модальностями, значительно усиливая их способность к рассуждению для понимания длинных видео. Чтобы гарантировать, что REVISOR научится точно анализировать высокорелевантные вопросу сегменты видео в процессе обучения с подкреплением, мы разработали механизм награды с разделенной двойной атрибуцией (DADR). Интегрированный в стратегию обучения GRPO, этот механизм обеспечивает каузальное соответствие между рассуждениями модели и выбранным видео-контекстом. Примечательно, что структура REVISOR значительно улучшает способность MLLM к пониманию длинных видео без необходимости дополнительного контролируемого тонкого настроения или внешних моделей, демонстрируя впечатляющие результаты на четырех тестовых наборах, включая VideoMME, LongVideoBench, MLVU и LVBench.
English
Self-reflection mechanisms that rely on purely text-based rethinking processes perform well in most multimodal tasks. However, when directly applied to long-form video understanding scenarios, they exhibit clear limitations. The fundamental reasons for this lie in two points: (1)long-form video understanding involves richer and more dynamic visual input, meaning rethinking only the text information is insufficient and necessitates a further rethinking process specifically targeting visual information; (2) purely text-based reflection mechanisms lack cross-modal interaction capabilities, preventing them from fully integrating visual information during reflection. Motivated by these insights, we propose REVISOR (REflective VIsual Segment Oriented Reasoning), a novel framework for tool-augmented multimodal reflection. REVISOR enables MLLMs to collaboratively construct introspective reflection processes across textual and visual modalities, significantly enhancing their reasoning capability for long-form video understanding. To ensure that REVISOR can learn to accurately review video segments highly relevant to the question during reinforcement learning, we designed the Dual Attribution Decoupled Reward (DADR) mechanism. Integrated into the GRPO training strategy, this mechanism enforces causal alignment between the model's reasoning and the selected video evidence. Notably, the REVISOR framework significantly enhances long-form video understanding capability of MLLMs without requiring supplementary supervised fine-tuning or external models, achieving impressive results on four benchmarks including VideoMME, LongVideoBench, MLVU, and LVBench.