Teil123: Teilerkennende 3D-Rekonstruktion aus einem Einzelbild

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

Autoren: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

Zusammenfassung

In letzter Zeit haben die Entstehung von Diffusionsmodellen neue Möglichkeiten für die Rekonstruktion aus einer Ansicht eröffnet. Alle bestehenden Methoden stellen das Zielobjekt jedoch als geschlossenes Mesh ohne strukturelle Informationen dar und vernachlässigen somit die teilbasierte Struktur, die für viele nachgelagerte Anwendungen der rekonstruierten Form entscheidend ist. Darüber hinaus leiden die generierten Meshes in der Regel unter starken Rauschen, unglatten Oberflächen und unscharfen Texturen, was es schwierig macht, zufriedenstellende Teilesegmente mithilfe von 3D-Segmentierungstechniken zu erhalten. In diesem Paper präsentieren wir Part123, ein neuartiges Framework für die teilbewusste 3D-Rekonstruktion aus einem einzigen Bild. Zunächst verwenden wir Diffusionsmodelle, um multiansichtskonsistente Bilder aus einem gegebenen Bild zu generieren, und nutzen dann das Segment Anything Model (SAM), das eine starke Verallgemeinerungsfähigkeit für beliebige Objekte aufweist, um multiansichtige Segmentierungsmasken zu generieren. Um 2D-teilbasierte Informationen effektiv in die 3D-Rekonstruktion zu integrieren und Inkonsistenzen zu bewältigen, führen wir kontrastives Lernen in ein neuronales Rendering-Framework ein, um einen teilbewussten Merkmalsraum basierend auf den multiansichtigen Segmentierungsmasken zu erlernen. Ein auf Clustering basierter Algorithmus wird ebenfalls entwickelt, um automatisch 3D-Teilsegmentierungsergebnisse aus den rekonstruierten Modellen abzuleiten. Experimente zeigen, dass unsere Methode 3D-Modelle mit hochwertigen segmentierten Teilen auf verschiedenen Objekten generieren kann. Im Vergleich zu bestehenden unstrukturierten Rekonstruktionsmethoden profitieren die teilbewussten 3D-Modelle unserer Methode von einigen wichtigen Anwendungen, einschließlich feature-erhaltender Rekonstruktion, primitiver Anpassung und 3D-Formbearbeitung.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.