AMD-Hummingbird: Hacia un Modelo Eficiente de Texto a Video

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Autores: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Resumen

La generación de Texto a Video (T2V) ha atraído una atención significativa por su capacidad para sintetizar videos realistas a partir de descripciones textuales. Sin embargo, los modelos existentes luchan por equilibrar la eficiencia computacional y la alta calidad visual, especialmente en dispositivos con recursos limitados, como iGPUs y teléfonos móviles. La mayoría de los trabajos previos priorizan la fidelidad visual, pasando por alto la necesidad de modelos más pequeños y eficientes adecuados para su implementación en el mundo real. Para abordar este desafío, proponemos un marco ligero de T2V, denominado Hummingbird, que poda los modelos existentes y mejora la calidad visual mediante el aprendizaje con retroalimentación visual. Nuestro enfoque reduce el tamaño de la U-Net de 1.4 mil millones a 0.7 mil millones de parámetros, mejorando significativamente la eficiencia mientras se preserva la generación de videos de alta calidad. Además, introducimos una novedosa canalización de procesamiento de datos que aprovecha los Modelos de Lenguaje de Gran Escala (LLMs) y los Modelos de Evaluación de Calidad de Video (VQA) para mejorar la calidad tanto de los textos de entrada como de los datos de video. Para apoyar el entrenamiento impulsado por el usuario y la personalización de estilos, publicamos el código completo de entrenamiento, incluyendo el procesamiento de datos y el entrenamiento del modelo. Experimentos extensos muestran que nuestro método logra una aceleración de 31X en comparación con modelos de última generación como VideoCrafter2, al mismo tiempo que alcanza la puntuación más alta en VBench. Además, nuestro método soporta la generación de videos de hasta 26 fotogramas, abordando las limitaciones de los métodos basados en U-Net para la generación de videos largos. Cabe destacar que todo el proceso de entrenamiento requiere solo cuatro GPUs, pero ofrece un rendimiento competitivo con los métodos líderes existentes. Hummingbird presenta una solución práctica y eficiente para la generación de T2V, combinando alto rendimiento, escalabilidad y flexibilidad para aplicaciones en el mundo real.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.