Part123: Ricostruzione 3D con consapevolezza delle parti da un'immagine a singola vista

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

Autori: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

Abstract

Recentemente, l'emergere dei modelli di diffusione ha aperto nuove opportunità per la ricostruzione da singola vista. Tuttavia, tutti i metodi esistenti rappresentano l'oggetto target come una mesh chiusa priva di qualsiasi informazione strutturale, trascurando così la struttura basata su parti, che è cruciale per molte applicazioni downstream, della forma ricostruita. Inoltre, le mesh generate soffrono solitamente di rumore elevato, superfici non lisce e texture sfocate, rendendo difficile ottenere segmentazioni delle parti soddisfacenti utilizzando tecniche di segmentazione 3D. In questo articolo, presentiamo Part123, un nuovo framework per la ricostruzione 3D consapevole delle parti da un'immagine a singola vista. Utilizziamo prima i modelli di diffusione per generare immagini multivista coerenti da una data immagine, e poi sfruttiamo il Segment Anything Model (SAM), che dimostra una potente capacità di generalizzazione su oggetti arbitrari, per generare maschere di segmentazione multivista. Per incorporare efficacemente le informazioni basate su parti 2D nella ricostruzione 3D e gestire le incoerenze, introduciamo il contrastive learning in un framework di rendering neurale per apprendere uno spazio di caratteristiche consapevole delle parti basato sulle maschere di segmentazione multivista. È stato anche sviluppato un algoritmo basato sul clustering per derivare automaticamente i risultati della segmentazione 3D delle parti dai modelli ricostruiti. Gli esperimenti dimostrano che il nostro metodo può generare modelli 3D con parti segmentate di alta qualità su vari oggetti. Rispetto ai metodi di ricostruzione non strutturati esistenti, i modelli 3D consapevoli delle parti del nostro metodo beneficiano alcune importanti applicazioni, tra cui la ricostruzione che preserva le caratteristiche, il fitting di primitive e l'editing di forme 3D.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.