OmnimatteZero: Обучение без обучения для работы в реальном времени с Omnimatte на основе предварительно обученных моделей диффузии видео

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Авторы: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Аннотация

Omnimatte ставит своей целью декомпозицию заданного видео на семантически значимые слои, включая фон и отдельные объекты вместе с их связанными эффектами, такими как тени и отражения. Существующие методы часто требуют обширного обучения или дорогостоящей оптимизации с самоконтролем. В данной статье мы представляем OmnimatteZero — подход, не требующий обучения, который использует готовые предобученные модели диффузии видео для создания omnimatte. Он может удалять объекты из видео, извлекать отдельные слои объектов вместе с их эффектами и комбинировать эти объекты с новыми видео. Мы достигаем этого, адаптируя техники инпантинга изображений с нулевым обучением для удаления объектов из видео — задачу, с которой они изначально не справляются эффективно. Затем мы показываем, что карты самовнимания захватывают информацию об объекте и его следах, и используем их для инпантинга эффектов объекта, оставляя чистый фон. Кроме того, с помощью простых операций в латентном пространстве слои объектов могут быть изолированы и бесшовно объединены с новыми слоями видео для создания новых видеороликов. Оценки показывают, что OmnimatteZero не только демонстрирует превосходную производительность в плане реконструкции фона, но и устанавливает новый рекорд по скорости среди подходов Omnimatte, достигая работы в реальном времени с минимальным временем обработки кадров.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.