OmnimatteZero: Omnimatte en tiempo real sin entrenamiento utilizando modelos de difusión de video preentrenados

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Autores: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Resumen

Omnimatte tiene como objetivo descomponer un video dado en capas semánticamente significativas, incluyendo el fondo y objetos individuales junto con sus efectos asociados, como sombras y reflejos. Los métodos existentes a menudo requieren un entrenamiento extenso o una costosa optimización autosupervisada. En este artículo, presentamos OmnimatteZero, un enfoque sin entrenamiento que aprovecha modelos de difusión de video preentrenados listos para usar para omnimatte. Puede eliminar objetos de videos, extraer capas de objetos individuales junto con sus efectos, y componer esos objetos en nuevos videos. Logramos esto adaptando técnicas de inpaint de imágenes en modo zero-shot para la eliminación de objetos en video, una tarea que no manejan efectivamente de forma predeterminada. Luego demostramos que los mapas de autoatención capturan información sobre el objeto y sus huellas, y los usamos para inpaint los efectos del objeto, dejando un fondo limpio. Además, mediante aritmética latente simple, las capas de objetos pueden aislarse y recombinarse sin problemas con nuevas capas de video para producir nuevos videos. Las evaluaciones muestran que OmnimatteZero no solo logra un rendimiento superior en términos de reconstrucción de fondo, sino que también establece un nuevo récord como el enfoque de Omnimatte más rápido, alcanzando un rendimiento en tiempo real con un tiempo de ejecución mínimo por fotograma.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.