AMD-Hummingbird: В направлении эффективной модели преобразования текста в видео

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

March 24, 2025

Авторы: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

cs.AI

Аннотация

Генерация видео из текста (Text-to-Video, T2V) привлекает значительное внимание благодаря своей способности синтезировать реалистичные видео на основе текстовых описаний. Однако существующие модели сталкиваются с трудностями в балансировке вычислительной эффективности и высокого визуального качества, особенно на устройствах с ограниченными ресурсами, таких как интегрированные графические процессоры (iGPU) и мобильные телефоны. Большинство предыдущих работ уделяет приоритетное внимание визуальной точности, упуская из виду необходимость создания более компактных и эффективных моделей, подходящих для реального применения. Для решения этой проблемы мы предлагаем облегченную T2V-платформу под названием Hummingbird, которая оптимизирует существующие модели и улучшает визуальное качество за счет обучения с визуальной обратной связью. Наш подход сокращает размер U-Net с 1,4 миллиарда до 0,7 миллиарда параметров, значительно повышая эффективность при сохранении высокого качества генерации видео. Кроме того, мы представляем новый конвейер обработки данных, который использует большие языковые модели (LLM) и модели оценки качества видео (VQA) для улучшения качества текстовых запросов и видеоданных. Для поддержки обучения, управляемого пользователем, и настройки стилей мы публикуем полный код обучения, включая обработку данных и обучение модели. Многочисленные эксперименты показывают, что наш метод обеспечивает ускорение в 31 раз по сравнению с современными моделями, такими как VideoCrafter2, а также достигает наивысшего общего балла на VBench. Более того, наш метод поддерживает генерацию видео длиной до 26 кадров, устраняя ограничения существующих U-Net-методов в создании длинных видео. Примечательно, что весь процесс обучения требует всего четырех графических процессоров, но при этом демонстрирует производительность, сопоставимую с ведущими существующими методами. Hummingbird представляет собой практичное и эффективное решение для T2V-генерации, сочетающее высокую производительность, масштабируемость и гибкость для реальных приложений.

English

Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.