Mejora de Video: Mejora de Video Generado de forma Gratuita

Enhance-A-Video: Better Generated Video for Free

February 11, 2025

Autores: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You

cs.AI

Resumen

La generación de video basada en DiT ha logrado resultados notables, pero la investigación para mejorar los modelos existentes sigue siendo relativamente inexplorada. En este trabajo, presentamos un enfoque sin entrenamiento para mejorar la coherencia y calidad de los videos generados basados en DiT, denominado Mejorar-Un-Video. La idea principal es mejorar las correlaciones entre fotogramas basadas en distribuciones de atención temporal no diagonales. Gracias a su diseño simple, nuestro enfoque puede aplicarse fácilmente a la mayoría de los marcos de generación de video basados en DiT sin necesidad de volver a entrenar o ajustar. A través de varios modelos de generación de video basados en DiT, nuestro enfoque demuestra mejoras prometedoras tanto en consistencia temporal como en calidad visual. Esperamos que esta investigación pueda inspirar futuras exploraciones en la mejora de la generación de video.

English

DiT-based video generation has achieved remarkable results, but research into enhancing existing models remains relatively unexplored. In this work, we introduce a training-free approach to enhance the coherence and quality of DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing the cross-frame correlations based on non-diagonal temporal attention distributions. Thanks to its simple design, our approach can be easily applied to most DiT-based video generation frameworks without any retraining or fine-tuning. Across various DiT-based video generation models, our approach demonstrates promising improvements in both temporal consistency and visual quality. We hope this research can inspire future explorations in video generation enhancement.