OmnimatteZero : Omnimatte en temps réel sans entraînement utilisant des modèles de diffusion vidéo pré-entraînés

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Auteurs: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Résumé

Omnimatte vise à décomposer une vidéo donnée en couches sémantiquement significatives, comprenant l'arrière-plan et les objets individuels ainsi que leurs effets associés, tels que les ombres et les réflexions. Les méthodes existantes nécessitent souvent un entraînement approfondi ou une optimisation auto-supervisée coûteuse. Dans cet article, nous présentons OmnimatteZero, une approche sans entraînement qui exploite des modèles de diffusion vidéo pré-entraînés disponibles sur étagère pour Omnimatte. Cette méthode permet de supprimer des objets dans des vidéos, d'extraire des couches d'objets individuels avec leurs effets, et de les composer sur de nouvelles vidéos. Nous y parvenons en adaptant des techniques de réparation d'images sans apprentissage préalable pour la suppression d'objets dans des vidéos, une tâche qu'elles ne parviennent pas à gérer efficacement de manière native. Nous montrons ensuite que les cartes d'auto-attention capturent des informations sur l'objet et ses empreintes, et les utilisons pour réparer les effets de l'objet, laissant un arrière-plan propre. De plus, grâce à une simple arithmétique latente, les couches d'objets peuvent être isolées et recombinées de manière transparente avec de nouvelles couches vidéo pour produire de nouvelles vidéos. Les évaluations montrent qu'OmnimatteZero non seulement obtient des performances supérieures en termes de reconstruction de l'arrière-plan, mais établit également un nouveau record pour l'approche Omnimatte la plus rapide, atteignant des performances en temps réel avec un temps d'exécution minimal par image.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.