AMD-Hummingbird: Op weg naar een efficiënt tekst-naar-video model

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Auteurs: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Samenvatting

Text-to-Video (T2V)-generatie heeft aanzienlijke aandacht getrokken vanwege het vermogen om realistische video's te synthetiseren op basis van tekstuele beschrijvingen. Bestaande modellen hebben echter moeite om een balans te vinden tussen rekenkundige efficiëntie en hoge visuele kwaliteit, vooral op apparaten met beperkte resources, zoals iGPU's en mobiele telefoons. Het meeste eerdere werk richt zich op visuele kwaliteit terwijl de behoefte aan kleinere, efficiëntere modellen die geschikt zijn voor implementatie in de praktijk over het hoofd wordt gezien. Om deze uitdaging aan te pakken, stellen we een lichtgewicht T2V-framework voor, genaamd Hummingbird, dat bestaande modellen uitdunt en de visuele kwaliteit verbetert door middel van visuele feedbackleren. Onze aanpak reduceert de grootte van de U-Net van 1,4 miljard naar 0,7 miljard parameters, wat de efficiëntie aanzienlijk verbetert terwijl de hoge kwaliteit van videogeneratie behouden blijft. Daarnaast introduceren we een nieuwe gegevensverwerkingspijplijn die gebruikmaakt van Large Language Models (LLM's) en Video Quality Assessment (VQA)-modellen om de kwaliteit van zowel tekstprompts als videogegevens te verbeteren. Om gebruikersgestuurde training en stijlaanpassing te ondersteunen, maken we de volledige trainingscode, inclusief gegevensverwerking en modeltraining, openbaar. Uitgebreide experimenten tonen aan dat onze methode een 31-voudige versnelling bereikt in vergelijking met state-of-the-art modellen zoals VideoCrafter2, terwijl ook de hoogste algemene score op VBench wordt behaald. Bovendien ondersteunt onze methode de generatie van video's met maximaal 26 frames, wat de beperkingen van bestaande U-Net-gebaseerde methoden voor lange videogeneratie aanpakt. Opmerkelijk is dat het volledige trainingsproces slechts vier GPU's vereist, maar toch prestaties levert die concurrerend zijn met bestaande toonaangevende methoden. Hummingbird biedt een praktische en efficiënte oplossing voor T2V-generatie, die hoge prestaties, schaalbaarheid en flexibiliteit combineert voor toepassingen in de praktijk.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.