Wan: Modelos Generativos de Video a Gran Escala Abiertos y Avanzados

Wan: Open and Advanced Large-Scale Video Generative Models

March 26, 2025

Autores: WanTeam, Ang Wang, Baole Ai, Bin Wen, Chaojie Mao, Chen-Wei Xie, Di Chen, Feiwu Yu, Haiming Zhao, Jianxiao Yang, Jianyuan Zeng, Jiayu Wang, Jingfeng Zhang, Jingren Zhou, Jinkai Wang, Jixuan Chen, Kai Zhu, Kang Zhao, Keyu Yan, Lianghua Huang, Mengyang Feng, Ningyi Zhang, Pandeng Li, Pingyu Wu, Ruihang Chu, Ruili Feng, Shiwei Zhang, Siyang Sun, Tao Fang, Tianxing Wang, Tianyi Gui, Tingyu Weng, Tong Shen, Wei Lin, Wei Wang, Wei Wang, Wenmeng Zhou, Wente Wang, Wenting Shen, Wenyuan Yu, Xianzhong Shi, Xiaoming Huang, Xin Xu, Yan Kou, Yangyu Lv, Yifei Li, Yijing Liu, Yiming Wang, Yingya Zhang, Yitong Huang, Yong Li, You Wu, Yu Liu, Yulin Pan, Yun Zheng, Yuntao Hong, Yupeng Shi, Yutong Feng, Zeyinzi Jiang, Zhen Han, Zhi-Fan Wu, Ziyu Liu

cs.AI

Resumen

Este informe presenta Wan, una suite integral y abierta de modelos fundamentales de video diseñada para impulsar los límites de la generación de video. Basado en el paradigma predominante de transformadores de difusión, Wan logra avances significativos en capacidades generativas a través de una serie de innovaciones, incluyendo nuestro novedoso VAE, estrategias escalables de pre-entrenamiento, curación de datos a gran escala y métricas de evaluación automatizadas. Estas contribuciones mejoran colectivamente el rendimiento y la versatilidad del modelo. Específicamente, Wan se caracteriza por cuatro características clave: Rendimiento Líder: El modelo de 14B de Wan, entrenado en un vasto conjunto de datos que incluye miles de millones de imágenes y videos, demuestra las leyes de escalamiento de la generación de video con respecto tanto al tamaño de los datos como al del modelo. Supera consistentemente a los modelos de código abierto existentes, así como a las soluciones comerciales de vanguardia en múltiples puntos de referencia internos y externos, mostrando una superioridad de rendimiento clara y significativa. Integralidad: Wan ofrece dos modelos capaces, es decir, de 1.3B y 14B parámetros, para eficiencia y efectividad respectivamente. También cubre múltiples aplicaciones posteriores, incluyendo imagen a video, edición de video guiada por instrucciones y generación de video personalizado, abarcando hasta ocho tareas. Eficiencia de Grado Consumidor: El modelo de 1.3B demuestra una excepcional eficiencia de recursos, requiriendo solo 8.19 GB de VRAM, lo que lo hace compatible con una amplia gama de GPUs de grado consumidor. Apertura: Hemos liberado el código fuente de toda la serie de Wan, incluyendo el código fuente y todos los modelos, con el objetivo de fomentar el crecimiento de la comunidad de generación de video. Esta apertura busca expandir significativamente las posibilidades creativas de la producción de video en la industria y proporcionar a la academia modelos fundamentales de video de alta calidad. Todo el código y los modelos están disponibles en https://github.com/Wan-Video/Wan2.1.

English

This report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation. Built upon the mainstream diffusion transformer paradigm, Wan achieves significant advancements in generative capabilities through a series of innovations, including our novel VAE, scalable pre-training strategies, large-scale data curation, and automated evaluation metrics. These contributions collectively enhance the model's performance and versatility. Specifically, Wan is characterized by four key features: Leading Performance: The 14B model of Wan, trained on a vast dataset comprising billions of images and videos, demonstrates the scaling laws of video generation with respect to both data and model size. It consistently outperforms the existing open-source models as well as state-of-the-art commercial solutions across multiple internal and external benchmarks, demonstrating a clear and significant performance superiority. Comprehensiveness: Wan offers two capable models, i.e., 1.3B and 14B parameters, for efficiency and effectiveness respectively. It also covers multiple downstream applications, including image-to-video, instruction-guided video editing, and personal video generation, encompassing up to eight tasks. Consumer-Grade Efficiency: The 1.3B model demonstrates exceptional resource efficiency, requiring only 8.19 GB VRAM, making it compatible with a wide range of consumer-grade GPUs. Openness: We open-source the entire series of Wan, including source code and all models, with the goal of fostering the growth of the video generation community. This openness seeks to significantly expand the creative possibilities of video production in the industry and provide academia with high-quality video foundation models. All the code and models are available at https://github.com/Wan-Video/Wan2.1.