Les VLMs sont de bons enseignants pour le raisonnement vidéo via une optimisation adaptative en phase de test.

Résumé

Le paradigme récent « Raisonnement avec la Vidéo » utilise les modèles de génération vidéo (VGM) pour produire des trajectoires visuelles temporellement cohérentes afin de réaliser des tâches de raisonnement. Bien que les VGM de pointe excellent en qualité visuelle, ils peinent souvent à comprendre et suivre des règles spécifiques aux tâches, entraînant des échecs logiques dans divers scénarios de raisonnement. Les efforts existants tentent d'utiliser les modèles vision-langage (VLM) comme pré-résolveurs de problèmes pour produire ou affiner des instructions textuelles destinées au VGM. Cependant, les descriptions textuelles ne parviennent pas à capturer les détails spatiotemporels complexes, et les VGM ont souvent du mal à exécuter fidèlement des instructions fines ou peu fréquentes, même avec un plan valide. Bien que les VLM aient des difficultés en tant que résolveurs, ils possèdent de fortes capacités de perception pour évaluer la satisfaction des contraintes de processus et l'atteinte des objectifs finaux. Exploitant cette force, nous introduisons un changement de paradigme qui fait passer le rôle des VLM à celui d'« enseignants ». Concrètement, un enseignant VLM extrait des règles spécifiques à la tâche pour formuler des récompenses différentiables, guidant un raisonneur VGM via une optimisation en ligne au moment du test d'un module LoRA léger. Cette stratégie permet une optimisation adaptative lors du test et étend les capacités de raisonnement au-delà des limites intrinsèques du VGM. Les évaluations sur des références de raisonnement vidéo symboliques (VBVR-Bench) et généralistes (RULER-Bench) montrent que la méthode proposée obtient un gain de performance moyen de 16,7 points, surpassant largement le paradigme VLM-comme-Résolveur (+0,4 points) et le scaling Best-of-N (+2,2 points) à un coût de test comparable. Ces résultats révèlent que l'intégration des VLM en tant qu'enseignants lors du test offre un paradigme prometteur pour un raisonnement vidéo généralisable. Page du projet : https://VLM-as-Teacher.github.io/

English

The recent "Reasoning with Video" paradigm utilizes Video Generation Models (VGMs) to generate temporally coherent visual trajectories to complete reasoning tasks. Although state-of-the-art VGMs excel at visual quality, they often struggle to understand and follow task-specific rules, leading to logical failures across diverse reasoning scenarios. Existing efforts try to utilize Vision-Language Models (VLMs) as problem pre-solvers to produce or refine textual guidance for the VGM. However, textual descriptions fail to capture intricate spatiotemporal details, and VGMs often struggle to faithfully execute fine-grained or long-tail instructions even with a valid plan. While VLMs struggle as solvers, they possess strong perception capabilities to evaluate process-constraint satisfaction and final-goal achievement. Leveraging this strength, we introduce a paradigm shift that transitions the role of VLMs to "teachers". Specifically, a VLM teacher extracts task-specific rules to formulate differentiable rewards, guiding a VGM Reasoner via test-time online optimization of a lightweight LoRA module. This strategy enables adaptive test-time optimization and extends the reasoning capabilities beyond the VGM's intrinsic boundaries. Evaluations on symbolic (VBVR-Bench) and general-purpose (RULER-Bench) video reasoning benchmarks show that the proposed method yields a 16.7-point average performance gain, outperforming the VLM-as-Solver paradigm (+0.4 points) and Best-of-N scaling (+2.2 points) by a large margin at comparable test-time cost. These findings reveal that integrating VLMs as test-time teachers offers a promising paradigm for achieving generalizable video reasoning. Project Page: https://VLM-as-Teacher.github.io/