αDepth: 스테레오 변환을 위한 단일 패스 연속 경계 분해 학습

초록

소프트 경계(예: 머리카락 및 디포커스 블러)를 정확하게 모델링하는 것은 전경과 배경의 모호한 혼합으로 인해 스테레오 변환에서 근본적인 과제이다. 기존의 깊이 모델은 주로 단일 레이어 깊이를 예측하여 소프트 경계에서 깊이 대응에 모호함을 초래한다. 매팅 기법은 계층적 모델링을 위해 불투명도를 포착할 수 있지만, 여러 대상이 있는 복잡한 장면에서 종종 어려움을 겪으며 일반적으로 사용자 개입이 필요하다. 본 논문은 고충실도 스테레오 변환을 위해 소프트 경계를 분해하는 계층적 표현인 αDepth를 소개한다. 구체적으로, 먼저 소프트 경계에서 계층적 색상 및 깊이 값을 추정하여 혼합된 색상 및 깊이 모호성을 해결한다. 복잡한 다중 대상 장면을 고려하여, 전역 대상 추출에서 국소 경계 분해로 패러다임을 전환하는 원형 알파 표현(CAR)을 설계한다. 단일 전경/배경으로 제한된 기존 매팅 방법과 달리, CAR은 수동 안내 없이 효율적인 장면 수준 추론을 가능하게 한다. 광범위한 평가를 통해 αDepth가 스테레오 변환에서 최첨단 성능을 달성하며, 소프트 경계에서 배경 번짐 및 구조적 왜곡을 제거함을 입증한다.

English

Accurately modeling soft boundaries, e.g., hair and defocus blur, is a fundamental challenge in stereo conversion due to the ambiguous blending of foreground and background. Existing depth models primarily predict single-layer depth, leading to ambiguity in depth correspondence at soft boundaries. While matting techniques can capture opacity for layered modeling, they often struggle in complex scenes with multiple targets and usually require user intervention. This paper introduces αDepth, a layered representation that decomposes soft boundaries for high-fidelity stereo conversion. Specifically, we first resolve mixed color and depth ambiguity by estimating layered color and depth values at soft boundaries. Considering complex multi-target scenes, we design a Circular Alpha Representation (CAR) that shifts the paradigm from global target extraction to local boundary decomposition. Unlike prior matting methods restricted to a single foreground/background, CAR enables efficient scene-level inference without manual guidance. Extensive evaluations demonstrate that αDepth achieves state-of-the-art performance in stereo conversion, eliminating background bleeding and structural distortions at soft boundaries.