LOVE-R1: Улучшение понимания длинных видео с помощью адаптивного механизма увеличения через многошаговое рассуждение

LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning

September 29, 2025

Авторы: Shenghao Fu, Qize Yang, Yuan-Ming Li, Xihan Wei, Xiaohua Xie, Wei-Shi Zheng

cs.AI

Аннотация

Понимание длинных видео остается сложной задачей для современных крупных видео-языковых моделей (LVLMs) из-за конфликта между пониманием длительных временных последовательностей и детальным восприятием пространственных деталей. LVLMs с механизмом равномерной выборки кадров, который выбирает кадры с одинаковым размером и фиксированной частотой, неизбежно жертвуют либо временными подсказками, либо пространственными деталями, что приводит к неоптимальным решениям. Чтобы смягчить эту дилемму, мы предлагаем LOVE-R1 — модель, которая может адаптивно увеличивать масштаб видеоклипа. Модель сначала получает плотно выбранные кадры, но в низком разрешении. Если требуются некоторые пространственные детали, модель может увеличить масштаб интересующего клипа с высоким разрешением кадров на основе своего анализа до получения ключевой визуальной информации. Весь процесс реализован как многошаговый процесс рассуждений. Для обучения способности к рассуждениям мы сначала дообучаем модель на собранных нами 38 тыс. высококачественных данных CoT и улучшаем ее с помощью разделенного дообучения с подкреплением. Поскольку итоговые награды не могут обеспечить детальный контроль за процессом, мы разделяем многошаговые рассуждения на несколько одношаговых и явно оптимизируем внутреннюю способность к увеличению масштаба. Эксперименты на бенчмарках для понимания длинных видео показывают, что наша модель с механизмом адаптивной выборки кадров "медленно-быстро" достигает отличного баланса между плотностью выборки и разрешением кадров, а LOVE-R1 превосходит нашу базовую модель Qwen2.5-VL в среднем на 3,1 процентных пункта на 4 распространенных бенчмарках для понимания длинных видео.

English

Long video understanding is still challenging for recent Large Video-Language Models (LVLMs) due to the conflict between long-form temporal understanding and detailed spatial perception. LVLMs with a uniform frame sampling mechanism, which samples frames with an equal frame size and fixed sampling rate, inevitably sacrifice either temporal clues or spatial details, resulting in suboptimal solutions. To mitigate this dilemma, we propose LOVE-R1, a model that can adaptively zoom in on a video clip. The model is first provided with densely sampled frames but in a small resolution. If some spatial details are needed, the model can zoom in on a clip of interest with a large frame resolution based on its reasoning until key visual information is obtained. The whole process is implemented as a multi-step reasoning process. To train the reasoning ability, we first finetune the model on our collected 38k high-quality CoT data and enhance it with decoupled reinforcement finetuning. As outcome rewards can not provide fine-grained process supervision, we decouple multi-step reasoning into multiple single-step reasoning and optimize the internal zoom-in ability explicitly. Experiments on long video understanding benchmarks show that our model with the slow-fast adaptive frame sampling mechanism achieves a great trade-off between sampling density and frame resolutions, and LOVE-R1 outperforms our baseline Qwen2.5-VL by an average of 3.1% points across 4 common long video understanding benchmarks.