MVPaint: Синхронное многопросмотровое диффузное моделирование для рисования 3D-объектов.

MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

November 4, 2024

Авторы: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan

cs.AI

Аннотация

Текстурирование является ключевым этапом в рабочем процессе производства 3D-моделей, которое улучшает визуальное воздействие и разнообразие 3D-моделей. Несмотря на недавние достижения в генерации текстур из текста (T2T), существующие методы часто дают низкокачественные результаты, в основном из-за локальных разрывов, несогласованности между несколькими видами и их сильной зависимости от результатов UV-развертки. Для решения этих проблем мы предлагаем новую рамочную систему текстурирования 3D-моделей с генерацией и улучшением текстур под названием MVPaint, способную создавать текстуры высокого разрешения без швов, с акцентом на согласованность между несколькими видами. MVPaint в основном состоит из трех ключевых модулей. 1) Синхронная многовидовая генерация (SMG). Учитывая 3D-сетчатую модель, MVPaint сначала одновременно генерирует изображения нескольких видов с помощью модели SMG, что приводит к грубым результатам текстурирования с незакрашенными участками из-за отсутствия наблюдений. 2) Пространственное инпейнтинг 3D (S3I). Для обеспечения полного текстурирования 3D-модели мы вводим метод S3I, специально разработанный для эффективного текстурирования ранее невидимых областей. 3) Улучшение UV-развертки (UVR). Кроме того, MVPaint использует модуль UVR для улучшения качества текстуры в пространстве UV, который сначала выполняет суперразрешение в пространстве UV, а затем алгоритм сглаживания швов с учетом пространства для исправления пространственных разрывов в текстурировании, вызванных UV-разверткой. Более того, мы устанавливаем два бенчмарка оценки T2T: бенчмарк T2T Objaverse и бенчмарк T2T GSO, основанные на выбранных высококачественных 3D-сетках из набора данных Objaverse и всего набора данных GSO, соответственно. Обширные экспериментальные результаты показывают, что MVPaint превосходит существующие передовые методы. Особенно стоит отметить, что MVPaint способен создавать текстуры высокой точности с минимальными проблемами Януса и значительно улучшенной согласованностью между видами.

English

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.