Over++: 레이어 상호작용 효과를 위한 생성형 비디오 합성

초록

전문 영상 합성 워크플로우에서는 아티스트들이 전경 피사체와 배경 레이어 간의 그림자, 반사, 먼지, 물보라와 같은 환경적 상호작용을 수동으로 생성해야 합니다. 기존 영상 생성 모델들은 이러한 효과를 추가하면서 입력 영상을 보존하는 데 어려움을 겪으며, 현재의 영상 인페인팅 방법들은 프레임별로 고비용의 마스크를 요구하거나 비현실적인 결과를 생성합니다. 본 연구에서는 텍스트 프롬프트와 입력 영상 레이어를 조건으로 하여 원본 장면을 보존하면서 사실적인 반투명 환경 효과를 합성하는 새로운 과제인 증강 합성(augmented compositing)을 소개합니다. 이 과제를 해결하기 위해 카메라 포즈, 장면 정지 상태, 깊이 감독에 대한 가정 없이 동작하는 영상 효과 생성 프레임워크인 Over++를 제안합니다. 본 과제에 특화된 paired 효과 데이터셋을 구축하고 텍스트 기반 편집 가능성을 보존하는 unpaired 증강 전략을 도입했습니다. 또한 우리의 방법은 조밀한 주석 없이도 선택적 마스크 제어와 키프레임 안내를 지원합니다. 제한된 데이터로 훈련되었음에도 Over++는 다양하고 사실적인 환경 효과를 생성하며 효과 생성과 장면 보존 측면에서 기존 베이스라인을 능가합니다.

English

In professional video compositing workflows, artists must manually create environmental interactions-such as shadows, reflections, dust, and splashes-between foreground subjects and background layers. Existing video generative models struggle to preserve the input video while adding such effects, and current video inpainting methods either require costly per-frame masks or yield implausible results. We introduce augmented compositing, a new task that synthesizes realistic, semi-transparent environmental effects conditioned on text prompts and input video layers, while preserving the original scene. To address this task, we present Over++, a video effect generation framework that makes no assumptions about camera pose, scene stationarity, or depth supervision. We construct a paired effect dataset tailored for this task and introduce an unpaired augmentation strategy that preserves text-driven editability. Our method also supports optional mask control and keyframe guidance without requiring dense annotations. Despite training on limited data, Over++ produces diverse and realistic environmental effects and outperforms existing baselines in both effect generation and scene preservation.

Over++: 레이어 상호작용 효과를 위한 생성형 비디오 합성

Over++: Generative Video Compositing for Layer Interaction Effects

초록

Support