Part123: Reconstrucción 3D consciente de partes a partir de una imagen de vista única

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

Autores: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

Resumen

Recientemente, el surgimiento de los modelos de difusión ha abierto nuevas oportunidades para la reconstrucción a partir de una sola vista. Sin embargo, todos los métodos existentes representan el objeto objetivo como una malla cerrada carente de información estructural, ignorando así la estructura basada en partes, que es crucial para muchas aplicaciones posteriores, de la forma reconstruida. Además, las mallas generadas suelen presentar grandes niveles de ruido, superficies no suaves y texturas borrosas, lo que dificulta obtener segmentaciones de partes satisfactorias mediante técnicas de segmentación 3D. En este artículo, presentamos Part123, un marco novedoso para la reconstrucción 3D consciente de partes a partir de una imagen de una sola vista. Primero utilizamos modelos de difusión para generar imágenes consistentes en múltiples vistas a partir de una imagen dada, y luego aprovechamos el Segment Anything Model (SAM), que demuestra una poderosa capacidad de generalización en objetos arbitrarios, para generar máscaras de segmentación en múltiples vistas. Para incorporar efectivamente la información basada en partes 2D en la reconstrucción 3D y manejar inconsistencias, introducimos el aprendizaje contrastivo en un marco de renderizado neuronal para aprender un espacio de características consciente de partes basado en las máscaras de segmentación multivista. También se desarrolla un algoritmo basado en agrupamiento para derivar automáticamente resultados de segmentación de partes 3D a partir de los modelos reconstruidos. Los experimentos muestran que nuestro método puede generar modelos 3D con partes segmentadas de alta calidad en diversos objetos. En comparación con los métodos de reconstrucción no estructurados existentes, los modelos 3D conscientes de partes de nuestro método benefician algunas aplicaciones importantes, incluyendo la reconstrucción que preserva características, el ajuste de primitivas y la edición de formas 3D.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.