VChain: ビデオ生成における推論のための視覚的思考連鎖

要旨

近年の動画生成モデルは、滑らかで視覚的に魅力的なクリップを生成することが可能であるが、複雑なダイナミクスと一貫した因果連鎖を合成するには依然として課題を抱えている。時間経過に伴う視覚的結果と状態遷移を正確にモデル化することは、核心的な課題として残されている。一方で、大規模言語モデルやマルチモーダルモデル（例えばGPT-4o）は、視覚的状態の推論と未来予測能力に優れている。これらの強みを橋渡しするため、我々はVChainを提案する。これは、マルチモーダルモデルから視覚的推論信号を動画生成に注入する、新しい推論時連鎖的視覚思考フレームワークである。具体的には、VChainは、大規模マルチモーダルモデルを活用して重要なキーフレームの疎なセットをスナップショットとして生成し、それらを基に事前学習済みの動画生成器の疎な推論時チューニングをこれらのキーモーメントでのみ行う専用パイプラインを備えている。本手法はチューニング効率が高く、最小限のオーバーヘッドを導入し、密な監視を回避する。複雑で多段階のシナリオにおける広範な実験により、VChainが生成動画の品質を大幅に向上させることが示された。

English

Recent video generation models can produce smooth and visually appealing clips, but they often struggle to synthesize complex dynamics with a coherent chain of consequences. Accurately modeling visual outcomes and state transitions over time remains a core challenge. In contrast, large language and multimodal models (e.g., GPT-4o) exhibit strong visual state reasoning and future prediction capabilities. To bridge these strengths, we introduce VChain, a novel inference-time chain-of-visual-thought framework that injects visual reasoning signals from multimodal models into video generation. Specifically, VChain contains a dedicated pipeline that leverages large multimodal models to generate a sparse set of critical keyframes as snapshots, which are then used to guide the sparse inference-time tuning of a pre-trained video generator only at these key moments. Our approach is tuning-efficient, introduces minimal overhead and avoids dense supervision. Extensive experiments on complex, multi-step scenarios show that VChain significantly enhances the quality of generated videos.

VChain: ビデオ生成における推論のための視覚的思考連鎖

VChain: Chain-of-Visual-Thought for Reasoning in Video Generation

要旨

Support