비디오 객체 삽입 및 레이어 분해를 위한 명시적 레이어 모델링

초록

대부분의 비디오 편집 시스템은 여전히 명시적인 계층적 비디오 표현을 제공하지 못하여 사실적인 합성, 객체 재사용 및 일관된 조작 수행에 한계가 있다. 이러한 한계는 비디오 객체 삽입 및 비디오 계층 분해에서 특히 두드러지는데, 기존 방법들은 명시적인 전경 레이어 학습 데이터가 부족하여 암시적 추론이나 장면별 최적화에 의존한다. 본 연구에서는 정렬된 합성, 배경, 전경 비디오를 포함하는 대규모 삼중(triplet) 비디오 데이터셋인 TriLayer를 소개한다. 여기서 전경 레이어에는 객체 외형과 관련 시각 효과가 모두 포함된다. 이러한 명시적 학습 데이터를 통해 모델은 암시적으로 추론하는 대신 계층적 비디오 표현을 직접 학습할 수 있다. 이 데이터셋을 기반으로, 공유 노이즈 제거와 교차 브랜치 상호작용을 통해 RGB 합성 이미지와 RGBA 전경 레이어를 공동으로 모델링하는 이중 브랜치 확산 프레임워크인 DBL-Diffusion을 제안한다. 이 프레임워크를 두 가지 태스크로 구현한다. 첫째, 계층적 객체 삽입을 위한 DBL-Insert는 사실적인 합성과 유연한 후처리를 위해 명시적인 RGBA 레이어를 생성한다. 둘째, 비디오 계층 분해를 위한 DBL-Decompose는 삼중(triplet) 학습 데이터를 활용하여 전경 및 배경 레이어를 복원한다. 실험 결과, 명시적 레이어 모델링이 삽입 충실도와 분해 품질을 모두 크게 향상시킴을 보여준다.

English

Most video editing systems still lack explicit layered video representations, limiting their ability to perform realistic compositing, object reuse, and consistent manipulation. This limitation is especially pronounced in video object insertion and video layer decomposition, where existing methods rely on implicit inference or per-scene optimization due to the absence of explicit foreground-layer supervision. We introduce TriLayer, a large-scale triplet video dataset containing aligned composite, background, and foreground videos, where the foreground layers include both object appearance and associated visual effects. This explicit supervision enables models to learn layered video representations directly rather than inferring them implicitly. Building on this dataset, we propose DBL-Diffusion, a dual-branch diffusion framework that jointly models RGB composites and RGBA foreground layers through shared denoising and cross-branch interaction. We instantiate the framework in two tasks: DBL-Insert for layered object insertion, which generates explicit RGBA layers for realistic compositing and flexible post-editing, and DBL-Decompose for video layer decomposition, which recovers foreground and background layers using triplet supervision. Experiments demonstrate that explicit layer modeling substantially improves both insertion fidelity and decomposition quality.