動画オブジェクト挿入とレイヤー分解のための明示的レイヤーモデリング

要旨

多くの映像編集システムは依然として明示的なレイヤー構造を持たず、現実的な合成、オブジェクトの再利用、一貫した編集操作に制約がある。この制約は特に、映像オブジェクト挿入や映像レイヤー分解のタスクにおいて顕著であり、既存手法は前景レイヤーを明示的に監督するデータが不足しているため、暗黙的な推論やシーンごとの最適化に依存している。本稿では、合成映像、背景映像、前景映像が位置合わせされた大規模三重項映像データセット「TriLayer」を提案する。前景レイヤーにはオブジェクトの外観に加えて、関連する視覚効果も含まれる。この明示的な教師情報により、モデルは暗黙的に推論するのではなく、直接的にレイヤー構造を学習できる。さらに、このデータセットを基盤として、二重ブランチ拡散モデル「DBL-Diffusion」を提案する。本フレームワークは、共有のノイズ除去処理とブランチ間相互作用により、RGB合成画像とRGBA前景レイヤーを同時にモデル化する。このフレームワークを二つのタスクに応用する。一つは「DBL-Insert」であり、レイヤー化されたオブジェクト挿入を行い、明示的なRGBAレイヤーを生成することで現実的な合成と柔軟な後編集を実現する。もう一つは「DBL-Decompose」であり、三重項教師情報を用いて前景と背景のレイヤーを復元する映像レイヤー分解である。実験により、明示的なレイヤーモデリングが挿入の忠実性と分解の品質の両方を大幅に向上させることを実証する。

English

Most video editing systems still lack explicit layered video representations, limiting their ability to perform realistic compositing, object reuse, and consistent manipulation. This limitation is especially pronounced in video object insertion and video layer decomposition, where existing methods rely on implicit inference or per-scene optimization due to the absence of explicit foreground-layer supervision. We introduce TriLayer, a large-scale triplet video dataset containing aligned composite, background, and foreground videos, where the foreground layers include both object appearance and associated visual effects. This explicit supervision enables models to learn layered video representations directly rather than inferring them implicitly. Building on this dataset, we propose DBL-Diffusion, a dual-branch diffusion framework that jointly models RGB composites and RGBA foreground layers through shared denoising and cross-branch interaction. We instantiate the framework in two tasks: DBL-Insert for layered object insertion, which generates explicit RGBA layers for realistic compositing and flexible post-editing, and DBL-Decompose for video layer decomposition, which recovers foreground and background layers using triplet supervision. Experiments demonstrate that explicit layer modeling substantially improves both insertion fidelity and decomposition quality.