TransPixar: Fortschritte bei der Text-zu-Video-Generierung mit Transparenz

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Autoren: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Zusammenfassung

Text-zu-Video-generative Modelle haben bedeutende Fortschritte gemacht und ermöglichen vielfältige Anwendungen in Unterhaltung, Werbung und Bildung. Die Generierung von RGBA-Videos, die Alphakanäle für Transparenz enthalten, bleibt jedoch eine Herausforderung aufgrund begrenzter Datensätze und der Schwierigkeit, bestehende Modelle anzupassen. Alphakanäle sind entscheidend für visuelle Effekte (VFX) und ermöglichen es transparenten Elementen wie Rauch und Reflexionen, nahtlos in Szenen zu verschmelzen. Wir stellen TransPixar vor, eine Methode zur Erweiterung vortrainierter Video-Modelle für die RGBA-Generierung, während die ursprünglichen RGB-Fähigkeiten beibehalten werden. TransPixar nutzt eine Diffusions-Transformer (DiT) Architektur, integriert alphabezogene Tokens und verwendet LoRA-basiertes Feintuning, um RGB- und Alphakanäle gemeinsam mit hoher Konsistenz zu generieren. Durch die Optimierung von Aufmerksamkeitsmechanismen bewahrt TransPixar die Stärken des ursprünglichen RGB-Modells und erzielt eine starke Ausrichtung zwischen RGB- und Alphakanälen trotz begrenzter Trainingsdaten. Unser Ansatz generiert effektiv vielfältige und konsistente RGBA-Videos, was die Möglichkeiten für VFX und die Erstellung interaktiver Inhalte vorantreibt.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.