OmnimatteZero: Omnimatte em Tempo Real sem Treinamento com Modelos de Difusão de Vídeo Pré-treinados

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Autores: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Resumo

O Omnimatte tem como objetivo decompor um vídeo dado em camadas semanticamente significativas, incluindo o plano de fundo e objetos individuais, juntamente com seus efeitos associados, como sombras e reflexos. Os métodos existentes frequentemente exigem treinamento extensivo ou otimização auto-supervisionada custosa. Neste artigo, apresentamos o OmnimatteZero, uma abordagem sem necessidade de treinamento que aproveita modelos de difusão de vídeo pré-treinados prontos para uso para o Omnimatte. Ele pode remover objetos de vídeos, extrair camadas de objetos individuais junto com seus efeitos e compor esses objetos em novos vídeos. Conseguimos isso adaptando técnicas de inpainting de imagem zero-shot para a remoção de objetos em vídeos, uma tarefa que elas não conseguem lidar efetivamente de forma direta. Em seguida, mostramos que mapas de auto-atenção capturam informações sobre o objeto e suas pegadas e os utilizamos para inpaintar os efeitos do objeto, deixando um fundo limpo. Além disso, por meio de uma simples aritmética latente, as camadas de objetos podem ser isoladas e recombinadas de forma contínua com novas camadas de vídeo para produzir novos vídeos. As avaliações mostram que o OmnimatteZero não apenas alcança um desempenho superior em termos de reconstrução de fundo, mas também estabelece um novo recorde para a abordagem mais rápida do Omnimatte, atingindo desempenho em tempo real com tempo mínimo de execução por quadro.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.