Gardiennes de la chevelure : Sauvetage des limites floues en estimation de profondeur, stéréoscopie et vues nouvelles

Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views

January 6, 2026

papers.authors: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers

cs.AI

papers.abstract

Les limites floues, telles que les cheveux fins, sont couramment observées dans les images naturelles et générées par ordinateur, mais elles restent problématiques pour la vision 3D en raison du mélange ambigu des indices d'avant-plan et d'arrière-plan. Cet article présente Guardians of the Hair (HairGuard), un cadre conçu pour restaurer les détails fins des limites floues dans les tâches de vision 3D. Plus précisément, nous proposons d'abord un nouveau pipeline de curation de données qui exploite les ensembles de données de détourage d'images pour l'entraînement, et concevons un réseau correcteur de profondeur pour identifier automatiquement les régions de limites floues. Grâce à un module résiduel à porte, le correcteur affine la profondeur précisément autour des limites floues tout en préservant la qualité globale de la profondeur, permettant une intégration plug-and-play avec les modèles de profondeur de pointe. Pour la synthèse de vues, nous effectuons un warp avant basé sur la profondeur pour préserver les textures haute fidélité, suivi d'un peintre de scène génératif qui remplit les régions désoccluses et élimine les artéfacts redondants de l'arrière-plan dans les limites floues. Enfin, un fusionneur de couleurs combine de manière adaptative les résultats warprés et inpainés pour produire de nouvelles vues avec une géométrie cohérente et des détails fins. Des expériences approfondies démontrent que HairGuard atteint des performances de pointe dans l'estimation de profondeur monoculaire, la conversion stéréo d'images/vidéos et la synthèse de nouvelles vues, avec des améliorations significatives dans les régions de limites floues.

English

Soft boundaries, like thin hairs, are commonly observed in natural and computer-generated imagery, but they remain challenging for 3D vision due to the ambiguous mixing of foreground and background cues. This paper introduces Guardians of the Hair (HairGuard), a framework designed to recover fine-grained soft boundary details in 3D vision tasks. Specifically, we first propose a novel data curation pipeline that leverages image matting datasets for training and design a depth fixer network to automatically identify soft boundary regions. With a gated residual module, the depth fixer refines depth precisely around soft boundaries while maintaining global depth quality, allowing plug-and-play integration with state-of-the-art depth models. For view synthesis, we perform depth-based forward warping to retain high-fidelity textures, followed by a generative scene painter that fills disoccluded regions and eliminates redundant background artifacts within soft boundaries. Finally, a color fuser adaptively combines warped and inpainted results to produce novel views with consistent geometry and fine-grained details. Extensive experiments demonstrate that HairGuard achieves state-of-the-art performance across monocular depth estimation, stereo image/video conversion, and novel view synthesis, with significant improvements in soft boundary regions.