DressRecon: Свободное 4D восстановление человека из монокулярного видео

DressRecon: Freeform 4D Human Reconstruction from Monocular Video

September 30, 2024

Авторы: Jeff Tan, Donglai Xiang, Shubham Tulsiani, Deva Ramanan, Gengshan Yang

cs.AI

Аннотация

Мы представляем метод восстановления моделей человеческого тела с сохранением временной согласованности из монокулярных видео, с акцентом на очень свободной одежде или взаимодействиях с рукопашными объектами. Предыдущие работы по восстановлению человека ограничены либо тесной одеждой без взаимодействия с объектами, либо требуют калиброванных многокамерных съемок или персонализированных сканирований шаблонов, что затратно для масштабного сбора. Наш ключевой принцип для высококачественного, но гибкого восстановления заключается в тщательном сочетании общих априорных знаний о артикулированной форме тела человека (изученных на основе данных обучения большого масштаба) с видеоспецифической артикулированной деформацией "мешка костей" (подгоняемой к одному видео с помощью оптимизации на этапе тестирования). Мы достигаем этого, обучая нейронную неявную модель, которая разделяет деформации тела и одежды как отдельные слои модели движения. Для захвата тонкой геометрии одежды мы используем априорные данные на основе изображений, такие как поза человеческого тела, нормали поверхности и оптический поток во время оптимизации. Полученные нейронные поля могут быть извлечены во временно согласованные сетки или дополнительно оптимизированы как явные 3D гауссовы функции для высококачественного интерактивного рендеринга. На наборах данных с высоко сложными деформациями одежды и взаимодействиями с объектами DressRecon обеспечивает более высококачественные 3D восстановления, чем предыдущие работы. Страница проекта: https://jefftan969.github.io/dressrecon/

English

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated "bag-of-bones" deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/