LayerFlow: Унифицированная модель для генерации видео с учетом слоев

LayerFlow: A Unified Model for Layer-aware Video Generation

June 4, 2025

Авторы: Sihui Ji, Hao Luo, Xi Chen, Yuanpeng Tu, Yiyang Wang, Hengshuang Zhao

cs.AI

Аннотация

Мы представляем LayerFlow — унифицированное решение для генерации видео с учетом слоев. На основе промптов для каждого слоя LayerFlow создает видео для прозрачного переднего плана, чистого фона и смешанной сцены. Он также поддерживает различные варианты, такие как декомпозиция смешанного видео или генерация фона для заданного переднего плана и наоборот. Начиная с трансформера диффузии для генерации видео из текста, мы организуем видео для разных слоев как подклипы и используем слоевые эмбеддинги для различения каждого клипа и соответствующих промптов для слоев. Таким образом, мы плавно поддерживаем упомянутые варианты в одной унифицированной структуре. Из-за отсутствия высококачественных обучающих видео с разделением на слои мы разработали многоэтапную стратегию обучения, адаптированную для статических изображений с качественными слоевыми аннотациями. В частности, сначала мы обучаем модель на данных низкого качества. Затем мы настраиваем LoRA для движения, чтобы сделать модель совместимой со статичными кадрами. После этого мы обучаем LoRA для контента на смеси данных изображений с высококачественными слоевыми изображениями вместе с копированными видео данными. Во время вывода мы удаляем LoRA для движения, что позволяет генерировать плавные видео с желаемыми слоями.

English

We present LayerFlow, a unified solution for layer-aware video generation. Given per-layer prompts, LayerFlow generates videos for the transparent foreground, clean background, and blended scene. It also supports versatile variants like decomposing a blended video or generating the background for the given foreground and vice versa. Starting from a text-to-video diffusion transformer, we organize the videos for different layers as sub-clips, and leverage layer embeddings to distinguish each clip and the corresponding layer-wise prompts. In this way, we seamlessly support the aforementioned variants in one unified framework. For the lack of high-quality layer-wise training videos, we design a multi-stage training strategy to accommodate static images with high-quality layer annotations. Specifically, we first train the model with low-quality video data. Then, we tune a motion LoRA to make the model compatible with static frames. Afterward, we train the content LoRA on the mixture of image data with high-quality layered images along with copy-pasted video data. During inference, we remove the motion LoRA thus generating smooth videos with desired layers.