VChain: Cadeia de Pensamento Visual para Raciocínio na Geração de Vídeo

VChain: Chain-of-Visual-Thought for Reasoning in Video Generation

October 6, 2025

Autores: Ziqi Huang, Ning Yu, Gordon Chen, Haonan Qiu, Paul Debevec, Ziwei Liu

cs.AI

Resumo

Modelos recentes de geração de vídeo são capazes de produzir clipes suaves e visualmente atraentes, mas frequentemente enfrentam dificuldades para sintetizar dinâmicas complexas com uma cadeia coerente de consequências. Modelar com precisão os resultados visuais e as transições de estado ao longo do tempo continua sendo um desafio central. Em contraste, grandes modelos de linguagem e multimodais (por exemplo, GPT-4o) exibem fortes capacidades de raciocínio sobre estados visuais e previsão de cenários futuros. Para unir esses pontos fortes, introduzimos o VChain, uma nova estrutura de cadeia de pensamento visual em tempo de inferência que injeta sinais de raciocínio visual de modelos multimodais na geração de vídeo. Especificamente, o VChain contém um pipeline dedicado que aproveita grandes modelos multimodais para gerar um conjunto esparso de quadros-chave críticos como instantâneos, que são então usados para orientar a ajustagem esparsa em tempo de inferência de um gerador de vídeo pré-treinado apenas nesses momentos-chave. Nossa abordagem é eficiente em termos de ajustagem, introduz sobrecarga mínima e evita supervisão densa. Experimentos extensos em cenários complexos e de múltiplas etapas mostram que o VChain melhora significativamente a qualidade dos vídeos gerados.

English

Recent video generation models can produce smooth and visually appealing clips, but they often struggle to synthesize complex dynamics with a coherent chain of consequences. Accurately modeling visual outcomes and state transitions over time remains a core challenge. In contrast, large language and multimodal models (e.g., GPT-4o) exhibit strong visual state reasoning and future prediction capabilities. To bridge these strengths, we introduce VChain, a novel inference-time chain-of-visual-thought framework that injects visual reasoning signals from multimodal models into video generation. Specifically, VChain contains a dedicated pipeline that leverages large multimodal models to generate a sparse set of critical keyframes as snapshots, which are then used to guide the sparse inference-time tuning of a pre-trained video generator only at these key moments. Our approach is tuning-efficient, introduces minimal overhead and avoids dense supervision. Extensive experiments on complex, multi-step scenarios show that VChain significantly enhances the quality of generated videos.