Hüter des Haares: Rettung weicher Grenzen in Tiefe, Stereo und neuen Ansichten

Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views

January 6, 2026

papers.authors: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers

cs.AI

papers.abstract

Weiche Grenzen, wie etwa dünne Haare, sind in natürlichen und computergenerierten Bildern häufig anzutreffen, stellen jedoch aufgrund der mehrdeutigen Vermischung von Vorder- und Hintergrundinformationen nach wie vor eine Herausforderung für das 3D-Sehen dar. Dieses Papier stellt Guardians of the Hair (HairGuard) vor, ein Framework, das entwickelt wurde, um fein granulierte Details weicher Grenzen in 3D-Sehaufgaben wiederherzustellen. Konkret schlagen wir zunächst eine neuartige Datenkuratierungspipeline vor, die Bildfreistellungsdatensätze für das Training nutzt, und entwerfen ein Netzwerk zur Tiefenkorrektur, das automatisch Regionen mit weichen Grenzen identifiziert. Mit einem gated residual module verfeinert der Tiefenkorrektor die Tiefe präzise im Bereich weicher Grenzen, während die globale Tiefenqualität erhalten bleibt, was eine Plug-and-Play-Integration in state-of-the-art Tiefenmodelle ermöglicht. Für die View-Synthese führen wir eine tiefenbasierte Vorwärtsabbildung durch, um hochauflösende Texturen zu erhalten, gefolgt von einem generativen Szene-Painter, der disokkludierte Regionen füllt und redundante Hintergrundartefakte innerhalb weicher Grenzen entfernt. Abschließend kombiniert ein Color-Fuser die verzerrten und eingefärbten Ergebnisse adaptiv, um neue Ansichten mit konsistenter Geometrie und fein granulierten Details zu erzeugen. Umfangreiche Experimente belegen, dass HairGuard state-of-the-art Leistungen in den Bereichen monokulare Tiefenschätzung, Stereo-Bild-/Videokonvertierung und View-Synthese erzielt, mit signifikanten Verbesserungen in Regionen mit weichen Grenzen.

English

Soft boundaries, like thin hairs, are commonly observed in natural and computer-generated imagery, but they remain challenging for 3D vision due to the ambiguous mixing of foreground and background cues. This paper introduces Guardians of the Hair (HairGuard), a framework designed to recover fine-grained soft boundary details in 3D vision tasks. Specifically, we first propose a novel data curation pipeline that leverages image matting datasets for training and design a depth fixer network to automatically identify soft boundary regions. With a gated residual module, the depth fixer refines depth precisely around soft boundaries while maintaining global depth quality, allowing plug-and-play integration with state-of-the-art depth models. For view synthesis, we perform depth-based forward warping to retain high-fidelity textures, followed by a generative scene painter that fills disoccluded regions and eliminates redundant background artifacts within soft boundaries. Finally, a color fuser adaptively combines warped and inpainted results to produce novel views with consistent geometry and fine-grained details. Extensive experiments demonstrate that HairGuard achieves state-of-the-art performance across monocular depth estimation, stereo image/video conversion, and novel view synthesis, with significant improvements in soft boundary regions.