LayerFlow : Un modèle unifié pour la génération de vidéos prenant en compte les couches
LayerFlow: A Unified Model for Layer-aware Video Generation
June 4, 2025
Auteurs: Sihui Ji, Hao Luo, Xi Chen, Yuanpeng Tu, Yiyang Wang, Hengshuang Zhao
cs.AI
Résumé
Nous présentons LayerFlow, une solution unifiée pour la génération de vidéos prenant en compte les couches.
À partir d’invitations spécifiques à chaque couche, LayerFlow génère des vidéos pour le premier plan transparent,
l’arrière-plan net et la scène fusionnée. Il prend également en charge des variantes polyvalentes, telles que la
décomposition d’une vidéo fusionnée ou la génération de l’arrière-plan pour un premier plan donné, et vice versa.
En partant d’un transformateur de diffusion texte-à-vidéo, nous organisons les vidéos pour différentes couches
sous forme de sous-clips, et exploitons des embeddings de couches pour distinguer chaque clip et les invitations
spécifiques à chaque couche. De cette manière, nous prenons en charge de manière fluide les variantes mentionnées
ci-dessus dans un cadre unifié. En raison du manque de vidéos d’entraînement de haute qualité avec annotations
par couches, nous concevons une stratégie d’entraînement en plusieurs étapes pour intégrer des images statiques
avec des annotations de couches de haute qualité. Plus précisément, nous entraînons d’abord le modèle avec des
données vidéo de faible qualité. Ensuite, nous ajustons un LoRA de mouvement pour rendre le modèle compatible
avec des images statiques. Par la suite, nous entraînons le LoRA de contenu sur un mélange de données d’images
de haute qualité avec des images en couches, ainsi que des données vidéo copiées-collées. Lors de l’inférence,
nous supprimons le LoRA de mouvement, générant ainsi des vidéos fluides avec les couches souhaitées.
English
We present LayerFlow, a unified solution for layer-aware video generation.
Given per-layer prompts, LayerFlow generates videos for the transparent
foreground, clean background, and blended scene. It also supports versatile
variants like decomposing a blended video or generating the background for the
given foreground and vice versa. Starting from a text-to-video diffusion
transformer, we organize the videos for different layers as sub-clips, and
leverage layer embeddings to distinguish each clip and the corresponding
layer-wise prompts. In this way, we seamlessly support the aforementioned
variants in one unified framework. For the lack of high-quality layer-wise
training videos, we design a multi-stage training strategy to accommodate
static images with high-quality layer annotations. Specifically, we first train
the model with low-quality video data. Then, we tune a motion LoRA to make the
model compatible with static frames. Afterward, we train the content LoRA on
the mixture of image data with high-quality layered images along with
copy-pasted video data. During inference, we remove the motion LoRA thus
generating smooth videos with desired layers.