Deel123: Deelbewuste 3D-reconstructie vanuit een enkelvoudig beeld

Samenvatting

Recentelijk heeft de opkomst van diffusiemodellen nieuwe mogelijkheden geopend voor reconstructie vanuit één beeld. Echter, alle bestaande methoden representeren het doelobject als een gesloten mesh zonder enige structurele informatie, waardoor de op delen gebaseerde structuur, die cruciaal is voor veel downstream-toepassingen, van de gereconstrueerde vorm wordt verwaarloosd. Bovendien lijden de gegenereerde meshes meestal aan grote ruis, ongelijke oppervlakken en vage texturen, wat het verkrijgen van bevredigende deelsegmenten met behulp van 3D-segmentatietechnieken bemoeilijkt. In dit artikel presenteren we Part123, een nieuw raamwerk voor deelbewuste 3D-reconstructie vanuit een enkel beeld. We gebruiken eerst diffusiemodellen om multiview-consistente beelden te genereren vanuit een gegeven beeld, en maken vervolgens gebruik van het Segment Anything Model (SAM), dat een krachtige generalisatiecapaciteit toont op willekeurige objecten, om multiview-segmentatiemaskers te genereren. Om op delen gebaseerde 2D-informatie effectief in 3D-reconstructie te integreren en inconsistentie te hanteren, introduceren we contrastief leren in een neurale rendering-raamwerk om een deelbewuste kenmerkruimte te leren op basis van de multiview-segmentatiemaskers. Er is ook een op clustering gebaseerd algoritme ontwikkeld om automatisch 3D-deelsegmentatieresultaten af te leiden uit de gereconstrueerde modellen. Experimenten tonen aan dat onze methode 3D-modellen kan genereren met hoogwaardige gesegmenteerde delen op verschillende objecten. In vergelijking met bestaande ongestructureerde reconstructiemethoden, profiteren de deelbewuste 3D-modellen van onze methode enkele belangrijke toepassingen, waaronder kenmerkbehoudende reconstructie, primitief passen en 3D-vormbewerking.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.

Deel123: Deelbewuste 3D-reconstructie vanuit een enkelvoudig beeld

Part123: Part-aware 3D Reconstruction from a Single-view Image

Samenvatting

Support