Блочное каскадирование: Бесплатное ускорение блочно-каузальных видео-моделей без обучения
Block Cascading: Training Free Acceleration of Block-Causal Video Models
November 25, 2025
Авторы: Hmrishav Bandyopadhyay, Nikhil Pinnaparaju, Rahim Entezari, Jim Scott, Yi-Zhe Song, Varun Jampani
cs.AI
Аннотация
Генерация видео с блочно-каузальной архитектурой сталкивается с резким компромиссом между скоростью и качеством: компактные модели на 1.3B параметров обеспечивают лишь 16 кадров/с, тогда как крупные 14B-модели работают на скорости 4.5 кадров/с, вынуждая пользователей выбирать между отзывчивостью и качеством. Метод каскадных блоков (Block Cascading) существенно смягчает этот компромисс за счёт беспобученного распараллеливания. Ключевая идея: для начала генерации последующих блоков видео не требуется полного удаления шума из текущих блоков. Запуская генерацию блоков на основе частично очищенных от шума данных из предыдущих блоков, мы преобразуем последовательные конвейеры в параллельные каскады, где несколько блоков обрабатываются одновременно. При использовании 5 GPU для временного распараллеливания достигается ускорение примерно в 2 раза для моделей любого масштаба: модели 1.3B ускоряются с 16 до 30 кадров/с, а модели 14B — с 4.5 до 12.5 кадров/с. Помимо скорости вывода, метод каскадных блоков устраняет накладные расходы (~200 мс) на перекэширование ключей-значений (KV-caching) при переключении контекста в интерактивной генерации. Масштабные оценки, проведённые для множества блочно-каузальных конвейеров, подтверждают отсутствие значительной потери качества генерации при переходе от блочно-каузальных конвейеров к конвейерам с каскадными блоками во время вывода. Страница проекта: https://hmrishavbandy.github.io/block_cascading_page/
English
Block-causal video generation faces a stark speed-quality trade-off: small 1.3B models manage only 16 FPS while large 14B models crawl at 4.5 FPS, forcing users to choose between responsiveness and quality. Block Cascading significantly mitigates this trade-off through training-free parallelization. Our key insight: future video blocks do not need fully denoised current blocks to begin generation. By starting block generation with partially denoised context from predecessors, we transform sequential pipelines into parallel cascades where multiple blocks denoise simultaneously. With 5 GPUs exploiting temporal parallelism, we achieve ~2x acceleration across all model scales: 1.3B models accelerate from 16 to 30 FPS, 14B models from 4.5 to 12.5 FPS. Beyond inference speed, Block Cascading eliminates overhead from KV-recaching (of ~200ms) during context switches for interactive generation. Extensive evaluations validated against multiple block-causal pipelines demonstrate no significant loss in generation quality when switching from block-causal to Block Cascading pipelines for inference. Project Page: https://hmrishavbandy.github.io/block_cascading_page/