TransPixar: Развитие генерации видео из текста с прозрачностью

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Авторы: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Аннотация

Модели генерации видео по тексту значительно продвинулись, обеспечивая разнообразные применения в развлечениях, рекламе и образовании. Однако создание видео формата RGBA, включающего альфа-каналы для прозрачности, остается вызовом из-за ограниченных наборов данных и сложности адаптации существующих моделей. Альфа-каналы имеют важное значение для визуальных эффектов (VFX), позволяя прозрачным элементам, таким как дым и отражения, плавно сливаться с сценами. Мы представляем TransPixar, метод расширения предварительно обученных видео-моделей для генерации RGBA, сохраняя при этом исходные возможности RGB. TransPixar использует архитектуру диффузионного трансформера (DiT), включая альфа-специфичные токены и применяя FeLoRA для совместной генерации RGB и альфа-каналов с высокой последовательностью. Оптимизируя механизмы внимания, TransPixar сохраняет преимущества исходной RGB модели и достигает сильного соответствия между RGB и альфа-каналами несмотря на ограниченные данные обучения. Наш подход эффективно генерирует разнообразные и последовательные видео формата RGBA, расширяя возможности для визуальных эффектов и создания интерактивного контента.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.