Хранители волос: восстановление мягких границ в задачах оценки глубины, стереозрения и генерации новых ракурсов

Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views

January 6, 2026

Авторы: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers

cs.AI

Аннотация

Мягкие границы, подобные тонким волосам, часто встречаются в естественных и компьютерных изображениях, но остаются сложной задачей для 3D-зрения из-за неоднозначного смешения признаков переднего и заднего планов. В данной статье представлена система HairGuard, предназначенная для восстановления детализированных мягких границ в задачах 3D-зрения. В частности, мы сначала предлагаем новый конвейер подготовки данных, использующий наборы данных матирования изображений для обучения, и разрабатываем сеть-корректор глубины для автоматического выявления областей мягких границ. Благодаря модулю остаточных связей с затвором, корректор глубины точно уточняет глубину вблизи мягких границ, сохраняя при этом глобальное качество глубины, что позволяет осуществлять plug-and-play интеграцию с современными моделями оценки глубины. Для синтеза видов мы выполняем прямое преобразование на основе глубины для сохранения высокоточных текстур, после чего генеративная сеть дорисовки сцены заполняет дисокклюзированные области и устраняет артефакты фона внутри мягких границ. Наконец, модуль слияния цветов адаптивно комбинирует результаты преобразования и дорисовки для генерации новых видов с геометрически согласованной структурой и детализированными элементами. Многочисленные эксперименты демонстрируют, что HairGuard достигает передовых результатов в задачах монокулярной оценки глубины, преобразования стереоизображений/видео и синтеза новых видов, с существенным улучшением качества в областях мягких границ.

English

Soft boundaries, like thin hairs, are commonly observed in natural and computer-generated imagery, but they remain challenging for 3D vision due to the ambiguous mixing of foreground and background cues. This paper introduces Guardians of the Hair (HairGuard), a framework designed to recover fine-grained soft boundary details in 3D vision tasks. Specifically, we first propose a novel data curation pipeline that leverages image matting datasets for training and design a depth fixer network to automatically identify soft boundary regions. With a gated residual module, the depth fixer refines depth precisely around soft boundaries while maintaining global depth quality, allowing plug-and-play integration with state-of-the-art depth models. For view synthesis, we perform depth-based forward warping to retain high-fidelity textures, followed by a generative scene painter that fills disoccluded regions and eliminates redundant background artifacts within soft boundaries. Finally, a color fuser adaptively combines warped and inpainted results to produce novel views with consistent geometry and fine-grained details. Extensive experiments demonstrate that HairGuard achieves state-of-the-art performance across monocular depth estimation, stereo image/video conversion, and novel view synthesis, with significant improvements in soft boundary regions.