VLMs são Bons Professores para Raciocínio em Vídeo via Otimização Adaptativa em Tempo de Teste

Resumo

O recente paradigma "Raciocínio com Vídeo" utiliza Modelos de Geração de Vídeo (VGMs) para gerar trajetórias visuais temporalmente coerentes com o objetivo de completar tarefas de raciocínio. Embora os VGMs de última geração se destaquem na qualidade visual, eles frequentemente têm dificuldade em compreender e seguir regras específicas das tarefas, levando a falhas lógicas em diversos cenários de raciocínio. Esforços existentes tentam utilizar Modelos de Visão e Linguagem (VLMs) como pré-resolvedores de problemas para produzir ou refinar orientações textuais para o VGM. No entanto, descrições textuais não conseguem capturar detalhes espaço-temporais intrincados, e os VGMs frequentemente têm dificuldade em executar fielmente instruções detalhadas ou de cauda longa, mesmo com um plano válido. Embora os VLMs tenham dificuldade como resolvedores, eles possuem fortes capacidades de percepção para avaliar a satisfação de restrições de processo e a realização do objetivo final. Aproveitando essa vantagem, introduzimos uma mudança de paradigma que transiciona o papel dos VLMs para "professores". Especificamente, um professor VLM extrai regras específicas da tarefa para formular recompensas diferenciáveis, guiando um Raciocinador VGM por meio de otimização online em tempo de teste de um módulo LoRA leve. Essa estratégia permite otimização adaptativa em tempo de teste e estende as capacidades de raciocínio para além dos limites intrínsecos do VGM. Avaliações em benchmarks de raciocínio de vídeo simbólico (VBVR-Bench) e de propósito geral (RULER-Bench) mostram que o método proposto produz um ganho médio de desempenho de 16,7 pontos, superando o paradigma VLM-como-Resolvedor (+0,4 pontos) e o escalonamento Best-of-N (+2,2 pontos) por uma margem considerável, a um custo de tempo de teste comparável. Essas descobertas revelam que integrar VLMs como professores em tempo de teste oferece um paradigma promissor para alcançar raciocínio de vídeo generalizável. Página do Projeto: https://VLM-as-Teacher.github.io/

English

The recent "Reasoning with Video" paradigm utilizes Video Generation Models (VGMs) to generate temporally coherent visual trajectories to complete reasoning tasks. Although state-of-the-art VGMs excel at visual quality, they often struggle to understand and follow task-specific rules, leading to logical failures across diverse reasoning scenarios. Existing efforts try to utilize Vision-Language Models (VLMs) as problem pre-solvers to produce or refine textual guidance for the VGM. However, textual descriptions fail to capture intricate spatiotemporal details, and VGMs often struggle to faithfully execute fine-grained or long-tail instructions even with a valid plan. While VLMs struggle as solvers, they possess strong perception capabilities to evaluate process-constraint satisfaction and final-goal achievement. Leveraging this strength, we introduce a paradigm shift that transitions the role of VLMs to "teachers". Specifically, a VLM teacher extracts task-specific rules to formulate differentiable rewards, guiding a VGM Reasoner via test-time online optimization of a lightweight LoRA module. This strategy enables adaptive test-time optimization and extends the reasoning capabilities beyond the VGM's intrinsic boundaries. Evaluations on symbolic (VBVR-Bench) and general-purpose (RULER-Bench) video reasoning benchmarks show that the proposed method yields a 16.7-point average performance gain, outperforming the VLM-as-Solver paradigm (+0.4 points) and Best-of-N scaling (+2.2 points) by a large margin at comparable test-time cost. These findings reveal that integrating VLMs as test-time teachers offers a promising paradigm for achieving generalizable video reasoning. Project Page: https://VLM-as-Teacher.github.io/