Hoeders van het Haar: Herstel van Zachte Grenzen in Diepte, Stereo en Nieuwe Perspectieven

Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views

January 6, 2026

Auteurs: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers

cs.AI

Samenvatting

Zachte grenzen, zoals dunne haren, worden vaak waargenomen in natuurlijke en computerg gegenereerde beelden, maar vormen een blijvende uitdaging voor 3D-visie vanwege de ambigue vermenging van voorgrond- en achtergrondsignalen. Dit artikel introduceert Guardians of the Hair (HairGuard), een raamwerk ontworpen om fijnmazige details van zachte grenzen te herstellen in 3D-visietaken. Concreet stellen we eerst een nieuwe data-curatiepijplijn voor die gebruikmaakt van image matting-datasets voor training, en ontwerpen we een depth fixer-netwerk om automatisch zachte grenzen te identificeren. Met behulp van een gegateerde residu-module verfijnt de depth fixer de diepte precies rond zachte grenzen, waarbij de globale dieptekwaliteit behouden blijft, wat een plug-and-play-integratie met state-of-the-art dieptemodellen mogelijk maakt. Voor viewsynthese voeren we op diepte gebaseerde forward warping uit om hoogwaardige texturen te behouden, gevolgd door een generatieve scene painter die ontblote gebieden invult en redundante achtergrondartefacten binnen zachte grenzen verwijdert. Ten slotte combineert een color fuser de gewarpte en ingevulde resultaten adaptief om nieuwe aanzichten te produceren met consistente geometrie en fijnmazige details. Uitgebreide experimenten tonen aan dat HairGuard state-of-the-art prestaties bereikt op het gebied van monocular depth estimation, stereo beeld/video-conversie en novel view synthesis, met significante verbeteringen in regio's met zachte grenzen.

English

Soft boundaries, like thin hairs, are commonly observed in natural and computer-generated imagery, but they remain challenging for 3D vision due to the ambiguous mixing of foreground and background cues. This paper introduces Guardians of the Hair (HairGuard), a framework designed to recover fine-grained soft boundary details in 3D vision tasks. Specifically, we first propose a novel data curation pipeline that leverages image matting datasets for training and design a depth fixer network to automatically identify soft boundary regions. With a gated residual module, the depth fixer refines depth precisely around soft boundaries while maintaining global depth quality, allowing plug-and-play integration with state-of-the-art depth models. For view synthesis, we perform depth-based forward warping to retain high-fidelity textures, followed by a generative scene painter that fills disoccluded regions and eliminates redundant background artifacts within soft boundaries. Finally, a color fuser adaptively combines warped and inpainted results to produce novel views with consistent geometry and fine-grained details. Extensive experiments demonstrate that HairGuard achieves state-of-the-art performance across monocular depth estimation, stereo image/video conversion, and novel view synthesis, with significant improvements in soft boundary regions.