GarVerseLOD: Высококачественная трехмерная реконструкция одежды из одного изображения в естественной среде с использованием набора данных с уровнями деталей

GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

November 5, 2024

Авторы: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han

cs.AI

Аннотация

Нейронные неявные функции принесли впечатляющие прорывы в современное состояние искусства цифровой дигитализации одетого человека по множеству или даже одному изображению. Однако, несмотря на прогресс, текущие методы все еще испытывают трудности с обобщением на невидимые изображения с сложными деформациями одежды и позами тела. В данной работе мы представляем GarVerseLOD, новый набор данных и фреймворк, который открывает путь к достижению беспрецедентной устойчивости в высококачественной трехмерной реконструкции одежды из одного неконтролируемого изображения. Вдохновленные недавними успехами крупных генеративных моделей, мы считаем, что одним из ключей к решению проблемы обобщения является количество и качество трехмерных данных об одежде. Для этой цели GarVerseLOD собирает 6 000 моделей одежды высокого качества с тонкими деталями геометрии, созданных вручную профессиональными художниками. Помимо масштаба обучающих данных, мы замечаем, что наличие разделенных гранулярностей геометрии может сыграть важную роль в увеличении способности к обобщению и точности вывода обученной модели. Мы поэтому создаем GarVerseLOD как иерархический набор данных с уровнями деталей (LOD), охватывающий от детализированной стилизованной формы до позы-смешанной одежды с деталями, выровненными по пикселям. Это позволяет нам сделать эту высоко недоопределенную проблему управляемой путем факторизации вывода на более простые задачи, каждая из которых сужена с помощью более маленького пространства поиска. Для обеспечения хорошего обобщения GarVerseLOD на изображения в естественной среде мы предлагаем новую парадигму разметки на основе условных моделей диффузии для генерации обширных парных изображений для каждой модели одежды с высоким фотореализмом. Мы оцениваем наш метод на огромном количестве изображений в естественной среде. Экспериментальные результаты демонстрируют, что GarVerseLOD способен генерировать отдельные элементы одежды с значительно лучшим качеством, чем предыдущие подходы. Страница проекта: https://garverselod.github.io/

English

Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/