CollabVR: Raciocínio Colaborativo em Vídeo com Modelos de Visão-Linguagem e Geração de Vídeo

Resumo

Abordagens recentes de "Raciocínio com Vídeo" utilizam Modelos de Geração de Vídeo (VGMs) para raciocínio visual, produzindo Cadeias de Quadros temporalmente coerentes como artefatos de raciocínio. No entanto, mesmo VGMs robustos apresentam dois modos recorrentes de falha em tarefas orientadas a objetivos: deriva de longo horizonte em tarefas de múltiplos passos e erros de simulação no meio do clipe que se acumulam. Ambos decorrem da ausência de raciocínio explícito baseado no prior visual de curto horizonte do VGM, papel naturalmente desempenhado por Modelos de Visão-Linguagem (VLMs), mas onde posicionar o VLM não é trivial: planos iniciais comprometem antes mesmo de qualquer quadro ser gerado, e críticas post-hoc sobre vídeos completos intervêm tarde demais. Propomos o CollabVR (VLM-VGM Collaborative Video Reasoning), uma estrutura de malha fechada que acopla o VLM ao VGM com granularidade ao nível do passo: o VLM planeja a próxima ação imediata, inspeciona o clipe que o VGM gera e incorpora o diagnóstico do verificador diretamente no prompt da próxima ação para reparar falhas detectadas. No Gen-ViRe e no VBVR-Bench, o CollabVR melhora tanto VGMs de código aberto quanto fechado em relação a inferência única, Pass@k e linhas de base anteriores de escalonamento em tempo de teste, com o mesmo custo computacional, obtendo os maiores ganhos nas tarefas mais difíceis. Ele também gera melhorias adicionais sobre um VGM ajustado para raciocínio, indicando que a supervisão do VLM ao nível do passo é ortogonal e empilhável com o ajuste fino orientado a raciocínio. Fornecemos amostras de vídeo e resultados qualitativos adicionais em nossa página do projeto: https://joow0n-kim.github.io/collabvr-project-page.

English

Recent "Thinking with Video" approaches use Video Generation Models (VGMs) for visual reasoning by producing temporally coherent Chain-of-Frames as reasoning artifacts. Even strong VGMs, however, exhibit two recurring failure modes on goal-directed tasks: long-horizon drift on multi-step tasks and mid-clip simulation errors that compound. Both stem from the absence of explicit reasoning built upon the VGM's short-horizon visual prior, a role naturally filled by Vision-Language Models (VLMs), but where to place the VLM is non-trivial: upfront plans commit before any frame is generated and post-hoc critiques over whole videos intervene too late. We propose VLM-VGM Collaborative Video Reasoning (CollabVR), a closed-loop framework that couples the VLM with the VGM at step-level granularity: the VLM plans the immediate next action, inspects the clip the VGM generates, and folds the verifier's diagnosis directly into the next action prompt to repair detected failures. On Gen-ViRe and VBVR-Bench, CollabVR improves both open-source and closed-source VGMs over single-inference, Pass@k, and prior test-time scaling baselines at matched compute, with the largest gains on the hardest tasks. It also yields further improvements on top of a reasoning-fine-tuned VGM, indicating that step-level VLM supervision is orthogonal to and stackable with reasoning-oriented fine-tuning. We provide video samples and additional qualitative results at our project page: https://joow0n-kim.github.io/collabvr-project-page.