AMD-Hummingbird : Vers un modèle efficace de génération de vidéos à partir de texte

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Auteurs: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Résumé

La génération de texte à vidéo (T2V) a suscité un intérêt considérable pour sa capacité à synthétiser des vidéos réalistes à partir de descriptions textuelles. Cependant, les modèles existants peinent à concilier efficacité computationnelle et qualité visuelle élevée, en particulier sur les appareils aux ressources limitées, tels que les iGPU et les téléphones mobiles. La plupart des travaux antérieurs privilégient la fidélité visuelle tout en négligeant la nécessité de modèles plus petits et plus efficaces, adaptés à un déploiement réel. Pour relever ce défi, nous proposons un cadre T2V léger, baptisé Hummingbird, qui élagage les modèles existants et améliore la qualité visuelle grâce à un apprentissage par rétroaction visuelle. Notre approche réduit la taille de l'U-Net de 1,4 milliard à 0,7 milliard de paramètres, améliorant ainsi significativement l'efficacité tout en préservant une génération vidéo de haute qualité. De plus, nous introduisons un nouveau pipeline de traitement des données qui exploite les modèles de langage à grande échelle (LLM) et les modèles d'évaluation de la qualité vidéo (VQA) pour améliorer la qualité des prompts textuels et des données vidéo. Pour soutenir l'entraînement piloté par l'utilisateur et la personnalisation des styles, nous publions le code complet d'entraînement, incluant le traitement des données et l'entraînement du modèle. Des expériences approfondies montrent que notre méthode atteint une accélération de 31X par rapport aux modèles de pointe tels que VideoCrafter2, tout en obtenant le score global le plus élevé sur VBench. En outre, notre méthode prend en charge la génération de vidéos allant jusqu'à 26 images, surmontant ainsi les limitations des méthodes basées sur l'U-Net dans la génération de vidéos longues. Notamment, l'ensemble du processus d'entraînement ne nécessite que quatre GPU, tout en offrant des performances compétitives avec les méthodes leaders existantes. Hummingbird propose une solution pratique et efficace pour la génération T2V, combinant haute performance, évolutivité et flexibilité pour des applications réelles.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.