TransPixar: Avanzando en la Generación de Video a partir de Texto con Transparencia

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Autores: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Resumen

Los modelos generativos de texto a video han avanzado significativamente, permitiendo diversas aplicaciones en entretenimiento, publicidad y educación. Sin embargo, la generación de video RGBA, que incluye canales alfa para transparencia, sigue siendo un desafío debido a conjuntos de datos limitados y la dificultad de adaptar modelos existentes. Los canales alfa son cruciales para efectos visuales (VFX), permitiendo que elementos transparentes como humo y reflejos se integren sin problemas en las escenas. Presentamos TransPixar, un método para extender modelos de video preentrenados para generación RGBA manteniendo las capacidades originales de RGB. TransPixar aprovecha una arquitectura de transformador de difusión (DiT), incorporando tokens específicos para alfa y utilizando ajuste fino basado en LoRA para generar conjuntamente canales RGB y alfa con alta consistencia. Optimizando los mecanismos de atención, TransPixar conserva las fortalezas del modelo RGB original y logra una fuerte alineación entre los canales RGB y alfa a pesar de los datos de entrenamiento limitados. Nuestro enfoque genera de manera efectiva videos RGBA diversos y consistentes, avanzando en las posibilidades para VFX y la creación de contenido interactivo.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.