LayerFlow : Un modèle unifié pour la génération de vidéos prenant en compte les couches

LayerFlow: A Unified Model for Layer-aware Video Generation

June 4, 2025

Auteurs: Sihui Ji, Hao Luo, Xi Chen, Yuanpeng Tu, Yiyang Wang, Hengshuang Zhao

cs.AI

Résumé

Nous présentons LayerFlow, une solution unifiée pour la génération de vidéos prenant en compte les couches. À partir d’invitations spécifiques à chaque couche, LayerFlow génère des vidéos pour le premier plan transparent, l’arrière-plan net et la scène fusionnée. Il prend également en charge des variantes polyvalentes, telles que la décomposition d’une vidéo fusionnée ou la génération de l’arrière-plan pour un premier plan donné, et vice versa. En partant d’un transformateur de diffusion texte-à-vidéo, nous organisons les vidéos pour différentes couches sous forme de sous-clips, et exploitons des embeddings de couches pour distinguer chaque clip et les invitations spécifiques à chaque couche. De cette manière, nous prenons en charge de manière fluide les variantes mentionnées ci-dessus dans un cadre unifié. En raison du manque de vidéos d’entraînement de haute qualité avec annotations par couches, nous concevons une stratégie d’entraînement en plusieurs étapes pour intégrer des images statiques avec des annotations de couches de haute qualité. Plus précisément, nous entraînons d’abord le modèle avec des données vidéo de faible qualité. Ensuite, nous ajustons un LoRA de mouvement pour rendre le modèle compatible avec des images statiques. Par la suite, nous entraînons le LoRA de contenu sur un mélange de données d’images de haute qualité avec des images en couches, ainsi que des données vidéo copiées-collées. Lors de l’inférence, nous supprimons le LoRA de mouvement, générant ainsi des vidéos fluides avec les couches souhaitées.

English

We present LayerFlow, a unified solution for layer-aware video generation. Given per-layer prompts, LayerFlow generates videos for the transparent foreground, clean background, and blended scene. It also supports versatile variants like decomposing a blended video or generating the background for the given foreground and vice versa. Starting from a text-to-video diffusion transformer, we organize the videos for different layers as sub-clips, and leverage layer embeddings to distinguish each clip and the corresponding layer-wise prompts. In this way, we seamlessly support the aforementioned variants in one unified framework. For the lack of high-quality layer-wise training videos, we design a multi-stage training strategy to accommodate static images with high-quality layer annotations. Specifically, we first train the model with low-quality video data. Then, we tune a motion LoRA to make the model compatible with static frames. Afterward, we train the content LoRA on the mixture of image data with high-quality layered images along with copy-pasted video data. During inference, we remove the motion LoRA thus generating smooth videos with desired layers.