ブロックカスケーディング：ブロック因果的ビデオモデルの訓練不要な高速化

要旨

ブロック因果的ビデオ生成は、速度と品質の間で顕著なトレードオフに直面している：小規模な1.3Bモデルでは16 FPSに留まる一方、大規模な14Bモデルでは4.5 FPSまで低下し、ユーザーは応答性と品質のいずれかを選択せざるを得ない。ブロックカスケーディングは、訓練不要の並列化により、このトレードオフを大幅に緩和する。我々の重要な知見は、将来のビデオブロックの生成開始において、現在のブロックが完全にノイズ除去される必要はないという点である。先行ブロックから部分的にノイズ除去されたコンテキストを用いてブロック生成を開始することで、逐次的なパイプラインを、複数のブロックが同時にノイズ除去を行う並列カスケードに変換する。時間的並列性を活かす5台のGPUを用いることで、全てのモデル規模において約2倍の加速を実現した：1.3Bモデルは16 FPSから30 FPSに、14Bモデルは4.5 FPSから12.5 FPSに加速する。推論速度に加えて、ブロックカスケーディングは、対話的生成におけるコンテキスト切り替え時のKVキャッシュ再計算のオーバーヘッド（約200ms）を排除する。複数のブロック因果的パイプラインと比較した広範な評価により、推論においてブロック因果的パイプラインからブロックカスケーディングパイプラインに切り替えても、生成品質に有意な低下がないことが実証された。プロジェクトページ: https://hmrishavbandy.github.io/block_cascading_page/

English

Block-causal video generation faces a stark speed-quality trade-off: small 1.3B models manage only 16 FPS while large 14B models crawl at 4.5 FPS, forcing users to choose between responsiveness and quality. Block Cascading significantly mitigates this trade-off through training-free parallelization. Our key insight: future video blocks do not need fully denoised current blocks to begin generation. By starting block generation with partially denoised context from predecessors, we transform sequential pipelines into parallel cascades where multiple blocks denoise simultaneously. With 5 GPUs exploiting temporal parallelism, we achieve ~2x acceleration across all model scales: 1.3B models accelerate from 16 to 30 FPS, 14B models from 4.5 to 12.5 FPS. Beyond inference speed, Block Cascading eliminates overhead from KV-recaching (of ~200ms) during context switches for interactive generation. Extensive evaluations validated against multiple block-causal pipelines demonstrate no significant loss in generation quality when switching from block-causal to Block Cascading pipelines for inference. Project Page: https://hmrishavbandy.github.io/block_cascading_page/

ブロックカスケーディング：ブロック因果的ビデオモデルの訓練不要な高速化

Block Cascading: Training Free Acceleration of Block-Causal Video Models

要旨

Support