Улучшение видео: качественное сгенерированное видео бесплатно

Enhance-A-Video: Better Generated Video for Free

February 11, 2025

Авторы: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You

cs.AI

Аннотация

Генерация видео на основе DiT достигла замечательных результатов, однако исследования по улучшению существующих моделей остаются относительно неисследованными. В данной работе мы представляем подход к улучшению согласованности и качества видео, сгенерированных на основе DiT, без необходимости обучения, который мы назвали Enhance-A-Video. Основная идея заключается в улучшении корреляций между кадрами на основе временного внимания, не ограниченного диагональю. Благодаря простому дизайну наш подход может быть легко применен к большинству фреймворков генерации видео на основе DiT без необходимости повторного обучения или донастройки. На различных моделях генерации видео на основе DiT наш подход продемонстрировал многообещающие улучшения как во временной согласованности, так и в визуальном качестве. Мы надеемся, что эти исследования могут вдохновить будущие исследования в области улучшения генерации видео.

English

DiT-based video generation has achieved remarkable results, but research into enhancing existing models remains relatively unexplored. In this work, we introduce a training-free approach to enhance the coherence and quality of DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing the cross-frame correlations based on non-diagonal temporal attention distributions. Thanks to its simple design, our approach can be easily applied to most DiT-based video generation frameworks without any retraining or fine-tuning. Across various DiT-based video generation models, our approach demonstrates promising improvements in both temporal consistency and visual quality. We hope this research can inspire future explorations in video generation enhancement.