AMD-Hummingbird: Rumo a um Modelo Eficiente de Texto para Vídeo

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Autores: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Resumo

A geração de Texto para Vídeo (T2V) tem atraído atenção significativa por sua capacidade de sintetizar vídeos realistas a partir de descrições textuais. No entanto, os modelos existentes lutam para equilibrar eficiência computacional e alta qualidade visual, especialmente em dispositivos com recursos limitados, como iGPUs e smartphones. A maioria dos trabalhos anteriores prioriza a fidelidade visual, negligenciando a necessidade de modelos menores e mais eficientes, adequados para implantação no mundo real. Para enfrentar esse desafio, propomos um framework leve de T2V, denominado Hummingbird, que poda modelos existentes e melhora a qualidade visual por meio de aprendizado com feedback visual. Nossa abordagem reduz o tamanho da U-Net de 1,4 bilhão para 0,7 bilhão de parâmetros, melhorando significativamente a eficiência enquanto mantém a geração de vídeos de alta qualidade. Além disso, introduzimos um novo pipeline de processamento de dados que aproveita Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Avaliação de Qualidade de Vídeo (VQA) para aprimorar a qualidade tanto dos prompts textuais quanto dos dados de vídeo. Para apoiar o treinamento orientado pelo usuário e a personalização de estilo, disponibilizamos publicamente o código completo de treinamento, incluindo processamento de dados e treinamento do modelo. Experimentos extensivos mostram que nosso método alcança uma aceleração de 31X em comparação com modelos state-of-the-art, como o VideoCrafter2, além de obter a pontuação geral mais alta no VBench. Além disso, nosso método suporta a geração de vídeos com até 26 quadros, abordando as limitações dos métodos baseados em U-Net na geração de vídeos longos. Notavelmente, todo o processo de treinamento requer apenas quatro GPUs, mas oferece desempenho competitivo com os principais métodos existentes. O Hummingbird apresenta uma solução prática e eficiente para geração de T2V, combinando alto desempenho, escalabilidade e flexibilidade para aplicações no mundo real.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.