Blokcascadering: Trainingsvrije Versnelling van Blok-Causale Videomodellen
Block Cascading: Training Free Acceleration of Block-Causal Video Models
November 25, 2025
Auteurs: Hmrishav Bandyopadhyay, Nikhil Pinnaparaju, Rahim Entezari, Jim Scott, Yi-Zhe Song, Varun Jampani
cs.AI
Samenvatting
Blok-causale videogeneratie wordt geconfronteerd met een scherpe snelheid-kwaliteit afweging: kleine 1.3B-modellen halen slechts 16 FPS, terwijl grote 14B-modellen kruipen op 4.5 FPS, waardoor gebruikers moeten kiezen tussen responsiviteit en kwaliteit. Blok Cascadering verzacht deze afweging aanzienlijk via trainingsvrije parallelisatie. Onze kerninzicht: toekomstige videoblokken hebben geen volledig gedenoised huidige blokken nodig om te beginnen met genereren. Door de blokgeneratie te starten met gedeeltelijk gedenoised context van voorgangers, transformeren we sequentiële pijplijnen in parallelle cascades waarbij meerdere blokken gelijktijdig denoisen. Met 5 GPU's die temporele paralleliteit benutten, bereiken we een ~2x versnelling over alle modelschalen: 1.3B-modellen versnellen van 16 naar 30 FPS, 14B-modellen van 4.5 naar 12.5 FPS. Naast inferentiesnelheid elimineert Blok Cascadering de overhead van KV-hercaching (~200ms) tijdens contextswitches voor interactieve generatie. Uitgebreide evaluaties, gevalideerd tegen meerdere blok-causale pijplijnen, tonen geen significant kwaliteitsverlies aan wanneer wordt overgeschakeld van blok-causale naar Blok Cascaderingspijplijnen voor inferentie. Projectpagina: https://hmrishavbandy.github.io/block_cascading_page/
English
Block-causal video generation faces a stark speed-quality trade-off: small 1.3B models manage only 16 FPS while large 14B models crawl at 4.5 FPS, forcing users to choose between responsiveness and quality. Block Cascading significantly mitigates this trade-off through training-free parallelization. Our key insight: future video blocks do not need fully denoised current blocks to begin generation. By starting block generation with partially denoised context from predecessors, we transform sequential pipelines into parallel cascades where multiple blocks denoise simultaneously. With 5 GPUs exploiting temporal parallelism, we achieve ~2x acceleration across all model scales: 1.3B models accelerate from 16 to 30 FPS, 14B models from 4.5 to 12.5 FPS. Beyond inference speed, Block Cascading eliminates overhead from KV-recaching (of ~200ms) during context switches for interactive generation. Extensive evaluations validated against multiple block-causal pipelines demonstrate no significant loss in generation quality when switching from block-causal to Block Cascading pipelines for inference. Project Page: https://hmrishavbandy.github.io/block_cascading_page/