머리카락의 수호자: 깊이, 스테레오, 신시점에서의 부드러운 경계 복원

Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views

January 6, 2026

저자: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers

cs.AI

초록

부드러운 경계는 얇은 털과 같이 자연 및 컴퓨터 생성 이미지에서 흔히 관찰되지만, 전경과 배경 단서의 모호한 혼합으로 인해 3D 비전에서는 여전히 해결하기 어려운 과제로 남아 있습니다. 본 논문은 3D 비전 작업에서 정교한 부드러운 경계 세부 사항을 복구하기 위해 설계된 프레임워크인 HairGuard를 소개합니다. 구체적으로, 우리는 먼저 이미지 매팅 데이터셋을 훈련에 활용하는 새로운 데이터 큐레이션 파이프라인을 제안하고, 부드러운 경계 영역을 자동으로 식별하기 위한 깊이 수정 네트워크를 설계합니다. 게이트 잔차 모듈을 통해 깊이 수정 네트워크는 전역 깊이 품질을 유지하면서 부드러운 경계 주변에서 정밀하게 깊이를 개선하여 최첨단 깊이 모델과의 플러그 앤 플레이 통합을 가능하게 합니다. 뷰 합성을 위해 우리는 높은 충실도의 텍스처를 보존하기 위해 깊이 기반 전방향 워핑을 수행한 후, 가려졌던 영역을 채우고 부드러운 경계 내의 중복 배경 아티팩트를 제거하는 생성형 장면 채색기를 적용합니다. 마지막으로, 컬러 퓨저는 워핑 및 인페인팅 결과를 적응적으로 결합하여 일관된 기하학적 구조와 정교한 세부 사항을 갖는 새로운 뷰를 생성합니다. 폭넓은 실험을 통해 HairGuard가 단안 깊이 추정, 스테레오 이미지/비디오 변환 및 새로운 뷰 합성 분야에서 최첨단 성능을 달성하며, 특히 부드러운 경계 영역에서 큰 향상을 보임을 입증합니다.

English

Soft boundaries, like thin hairs, are commonly observed in natural and computer-generated imagery, but they remain challenging for 3D vision due to the ambiguous mixing of foreground and background cues. This paper introduces Guardians of the Hair (HairGuard), a framework designed to recover fine-grained soft boundary details in 3D vision tasks. Specifically, we first propose a novel data curation pipeline that leverages image matting datasets for training and design a depth fixer network to automatically identify soft boundary regions. With a gated residual module, the depth fixer refines depth precisely around soft boundaries while maintaining global depth quality, allowing plug-and-play integration with state-of-the-art depth models. For view synthesis, we perform depth-based forward warping to retain high-fidelity textures, followed by a generative scene painter that fills disoccluded regions and eliminates redundant background artifacts within soft boundaries. Finally, a color fuser adaptively combines warped and inpainted results to produce novel views with consistent geometry and fine-grained details. Extensive experiments demonstrate that HairGuard achieves state-of-the-art performance across monocular depth estimation, stereo image/video conversion, and novel view synthesis, with significant improvements in soft boundary regions.