TransPixar : Faire progresser la génération de vidéo à partir de texte avec transparence

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Auteurs: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Résumé

Les modèles génératifs texte-vidéo ont fait des progrès significatifs, permettant diverses applications dans le domaine du divertissement, de la publicité et de l'éducation. Cependant, la génération de vidéos RGBA, qui inclut des canaux alpha pour la transparence, reste un défi en raison de jeux de données limités et de la difficulté d'adapter les modèles existants. Les canaux alpha sont cruciaux pour les effets visuels (VFX), permettant à des éléments transparents tels que la fumée et les reflets de se fondre harmonieusement dans les scènes. Nous présentons TransPixar, une méthode pour étendre les modèles vidéo pré-entraînés à la génération RGBA tout en conservant les capacités RGB d'origine. TransPixar exploite une architecture de transformateur de diffusion (DiT), incorporant des jetons spécifiques à l'alpha et utilisant un ajustement fin LoRA pour générer conjointement les canaux RGB et alpha avec une grande cohérence. En optimisant les mécanismes d'attention, TransPixar préserve les forces du modèle RGB d'origine et réalise un alignement solide entre les canaux RGB et alpha malgré des données d'entraînement limitées. Notre approche génère efficacement des vidéos RGBA diverses et cohérentes, ouvrant de nouvelles perspectives pour les effets visuels et la création de contenu interactif.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.