OmnimatteZero: 事前学習済みビデオ拡散モデルを用いたトレーニング不要のリアルタイムOmnimatte

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

著者: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

要旨

Omnimatteは、与えられた動画を意味的に意味のあるレイヤーに分解することを目指しており、背景や個々のオブジェクト、それに伴う影や反射などの効果を含みます。既存の手法では、多くの場合、広範なトレーニングや高コストな自己教師あり最適化が必要です。本論文では、事前学習済みのビデオ拡散モデルを活用したトレーニング不要のアプローチであるOmnimatteZeroを提案します。これにより、動画からオブジェクトを除去し、個々のオブジェクトレイヤーとその効果を抽出し、それらのオブジェクトを新しい動画に合成することが可能です。これを実現するために、ゼロショット画像インペインティング技術を動画オブジェクト除去に適応させます。この技術は、そのままでは効果的に処理できないタスクです。次に、自己注意マップがオブジェクトとその足跡に関する情報を捕捉することを示し、それを使用してオブジェクトの効果をインペイントし、クリーンな背景を残します。さらに、単純な潜在空間演算を通じて、オブジェクトレイヤーを分離し、新しいビデオレイヤーとシームレスに再結合して新しい動画を生成することができます。評価結果は、OmnimatteZeroが背景再構築において優れた性能を発揮するだけでなく、最小限のフレーム実行時間でリアルタイム性能を達成し、最速のOmnimatteアプローチとして新記録を樹立することを示しています。

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.