OmnimatteZero: Trainingsvrije realtime Omnimatte met vooraf getrainde videodiffusiemodellen

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Auteurs: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Samenvatting

Omnimatte heeft als doel een gegeven video te ontbinden in semantisch betekenisvolle lagen, inclusief de achtergrond en individuele objecten samen met hun bijbehorende effecten, zoals schaduwen en reflecties. Bestaande methoden vereisen vaak uitgebreide training of kostbare zelfgesuperviseerde optimalisatie. In dit artikel presenteren we OmnimatteZero, een trainingsvrije aanpak die gebruikmaakt van vooraf getrainde videodiffusiemodellen voor omnimatte. Het kan objecten uit video's verwijderen, individuele objectlagen samen met hun effecten extraheren en die objecten samenvoegen met nieuwe video's. We bereiken dit door zero-shot image inpainting-technieken aan te passen voor het verwijderen van objecten uit video's, een taak waar ze standaard niet effectief mee om kunnen gaan. Vervolgens laten we zien dat self-attention maps informatie vastleggen over het object en zijn voetafdrukken, en gebruiken we deze om de effecten van het object in te vullen, waardoor een schone achtergrond overblijft. Daarnaast kunnen objectlagen door eenvoudige latente rekenkunde worden geïsoleerd en naadloos worden gecombineerd met nieuwe videolagen om nieuwe video's te produceren. Evaluaties tonen aan dat OmnimatteZero niet alleen superieure prestaties levert op het gebied van achtergrondreconstructie, maar ook een nieuw record vestigt voor de snelste Omnimatte-aanpak, waarbij realtime prestaties worden bereikt met een minimale frametijd.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.