LOVE-R1: Fortschritt im Verständnis langer Videos durch einen adaptiven Zoom-Mechanismus mittels mehrstufiger Argumentation

LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning

September 29, 2025

papers.authors: Shenghao Fu, Qize Yang, Yuan-Ming Li, Xihan Wei, Xiaohua Xie, Wei-Shi Zheng

cs.AI

papers.abstract

Das Verständnis langer Videos bleibt für aktuelle Large Video-Language Models (LVLMs) eine Herausforderung, da ein Konflikt zwischen dem langfristigen zeitlichen Verständnis und der detaillierten räumlichen Wahrnehmung besteht. LVLMs mit einem einheitlichen Frame-Sampling-Mechanismus, der Frames mit gleicher Bildgröße und fester Abtastrate auswählt, opfern unweigerlich entweder zeitliche Hinweise oder räumliche Details, was zu suboptimalen Lösungen führt. Um dieses Dilemma zu mildern, schlagen wir LOVE-R1 vor, ein Modell, das sich adaptiv auf einen Videoclip zoomen kann. Das Modell erhält zunächst dicht abgetastete Frames, jedoch in einer kleinen Auflösung. Falls räumliche Details benötigt werden, kann das Modell basierend auf seiner Schlussfolgerung auf einen interessierenden Clip mit einer hohen Frame-Auflösung zoomen, bis wichtige visuelle Informationen erfasst sind. Der gesamte Prozess wird als ein mehrstufiger Schlussfolgerungsprozess implementiert. Um die Schlussfolgerungsfähigkeit zu trainieren, finetunen wir das Modell zunächst auf unseren gesammelten 38k hochwertigen CoT-Daten und verbessern es durch entkoppeltes Reinforcement-Finetuning. Da Ergebnisbelohnungen keine feingranulare Prozessüberwachung bieten können, entkoppeln wir die mehrstufige Schlussfolgerung in mehrere einstufige Schlussfolgerungen und optimieren die interne Zoom-Fähigkeit explizit. Experimente auf Benchmarks für das Verständnis langer Videos zeigen, dass unser Modell mit dem adaptiven Slow-Fast-Frame-Sampling-Mechanismus einen guten Kompromiss zwischen Abtastdichte und Frame-Auflösungen erreicht und LOVE-R1 unser Baseline-Modell Qwen2.5-VL auf 4 gängigen Benchmarks für das Verständnis langer Videos im Durchschnitt um 3,1 Prozentpunkte übertrifft.

English

Long video understanding is still challenging for recent Large Video-Language Models (LVLMs) due to the conflict between long-form temporal understanding and detailed spatial perception. LVLMs with a uniform frame sampling mechanism, which samples frames with an equal frame size and fixed sampling rate, inevitably sacrifice either temporal clues or spatial details, resulting in suboptimal solutions. To mitigate this dilemma, we propose LOVE-R1, a model that can adaptively zoom in on a video clip. The model is first provided with densely sampled frames but in a small resolution. If some spatial details are needed, the model can zoom in on a clip of interest with a large frame resolution based on its reasoning until key visual information is obtained. The whole process is implemented as a multi-step reasoning process. To train the reasoning ability, we first finetune the model on our collected 38k high-quality CoT data and enhance it with decoupled reinforcement finetuning. As outcome rewards can not provide fine-grained process supervision, we decouple multi-step reasoning into multiple single-step reasoning and optimize the internal zoom-in ability explicitly. Experiments on long video understanding benchmarks show that our model with the slow-fast adaptive frame sampling mechanism achieves a great trade-off between sampling density and frame resolutions, and LOVE-R1 outperforms our baseline Qwen2.5-VL by an average of 3.1% points across 4 common long video understanding benchmarks.