CraftsMan: Hoogwaardige mesh-generatie met 3D-native generatie en interactieve geometrie-verfijning

CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner

May 23, 2024

Auteurs: Weiyu Li, Jiarui Liu, Rui Chen, Yixun Liang, Xuelin Chen, Ping Tan, Xiaoxiao Long

cs.AI

Samenvatting

We presenteren een nieuw generatief 3D-modelleersysteem, genaamd CraftsMan, dat hoogwaardige 3D-geometrieën kan genereren met zeer uiteenlopende vormen, regelmatige maashtopologieën en gedetailleerde oppervlakken, en dat bovendien mogelijkheden biedt om de geometrie op een interactieve manier te verfijnen. Ondanks de aanzienlijke vooruitgang in 3D-generatie, worstelen bestaande methoden nog steeds met langdurige optimalisatieprocessen, onregelmatige maashtopologieën, ruwe oppervlakken en moeilijkheden bij het aanpassen van gebruikersbewerkingen, wat hun brede adoptie en implementatie in 3D-modelleersoftware belemmert. Ons werk is geïnspireerd door de ambachtsman, die meestal eerst de algehele vorm van het werk schetst en vervolgens de oppervlaktedetails uitwerkt. Specifiek maken we gebruik van een 3D-native diffusiemodel, dat opereert op een latente ruimte die is geleerd uit latente set-gebaseerde 3D-representaties, om grove geometrieën met regelmatige maashtopologie in seconden te genereren. Dit proces neemt als invoer een tekstprompt of een referentiebeeld en maakt gebruik van een krachtig multi-view (MV) diffusiemodel om meerdere aanzichten van de grove geometrie te genereren, die vervolgens worden ingevoerd in ons MV-geconditioneerde 3D-diffusiemodel voor het genereren van de 3D-geometrie, wat de robuustheid en generaliseerbaarheid aanzienlijk verbetert. Daarna wordt een op normaal gebaseerde geometrie-verfijner gebruikt om de oppervlaktedetails aanzienlijk te verbeteren. Deze verfijning kan automatisch worden uitgevoerd, of interactief met door de gebruiker aangeleverde bewerkingen. Uitgebreide experimenten tonen aan dat onze methode een hoge effectiviteit bereikt in het produceren van hoogwaardige 3D-assets in vergelijking met bestaande methoden. HomePage: https://craftsman3d.github.io/, Code: https://github.com/wyysf-98/CraftsMan

English

We present a novel generative 3D modeling system, coined CraftsMan, which can generate high-fidelity 3D geometries with highly varied shapes, regular mesh topologies, and detailed surfaces, and, notably, allows for refining the geometry in an interactive manner. Despite the significant advancements in 3D generation, existing methods still struggle with lengthy optimization processes, irregular mesh topologies, noisy surfaces, and difficulties in accommodating user edits, consequently impeding their widespread adoption and implementation in 3D modeling software. Our work is inspired by the craftsman, who usually roughs out the holistic figure of the work first and elaborates the surface details subsequently. Specifically, we employ a 3D native diffusion model, which operates on latent space learned from latent set-based 3D representations, to generate coarse geometries with regular mesh topology in seconds. In particular, this process takes as input a text prompt or a reference image and leverages a powerful multi-view (MV) diffusion model to generate multiple views of the coarse geometry, which are fed into our MV-conditioned 3D diffusion model for generating the 3D geometry, significantly improving robustness and generalizability. Following that, a normal-based geometry refiner is used to significantly enhance the surface details. This refinement can be performed automatically, or interactively with user-supplied edits. Extensive experiments demonstrate that our method achieves high efficacy in producing superior-quality 3D assets compared to existing methods. HomePage: https://craftsman3d.github.io/, Code: https://github.com/wyysf-98/CraftsMan