TripoSG: Hoogwaardige 3D-vormsynthese met behulp van grootschalige gerechtvaardigde stroommodellen

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

February 10, 2025

Auteurs: Yangguang Li, Zi-Xin Zou, Zexiang Liu, Dehu Wang, Yuan Liang, Zhipeng Yu, Xingchao Liu, Yuan-Chen Guo, Ding Liang, Wanli Ouyang, Yan-Pei Cao

cs.AI

Samenvatting

Recente ontwikkelingen in diffusietechnieken hebben de generatie van afbeeldingen en video's naar ongekende kwaliteitsniveaus gestuwd, waardoor de implementatie en toepassing van generatieve AI aanzienlijk zijn versneld. Echter, de technologie voor 3D-vormgeneratie is tot nu toe achtergebleven, beperkt door beperkingen in 3D-gegevensschaal, complexiteit van 3D-gegevensverwerking en onvoldoende verkenning van geavanceerde technieken in het 3D-domein. Huidige benaderingen voor 3D-vormgeneratie staan voor aanzienlijke uitdagingen op het gebied van outputkwaliteit, generalisatievermogen en afstemming met invoercondities. Wij presenteren TripoSG, een nieuw gestroomlijnd vormdiffusieparadigma dat in staat is om hoogwaardige 3D-meshes te genereren met een nauwkeurige overeenkomst met invoerafbeeldingen. Specifiek stellen we voor: 1) Een grootschalige gecorrigeerde stroomtransformator voor 3D-vormgeneratie, die state-of-the-art nauwkeurigheid behaalt door training op uitgebreide, hoogwaardige gegevens. 2) Een hybride begeleid trainingsstrategie waarbij SDF-, normaal- en eikonal-verliezen worden gecombineerd voor 3D VAE, wat resulteert in een hoogwaardige 3D-reconstructieprestatie. 3) Een gegevensverwerkingspijplijn om 2 miljoen hoogwaardige 3D-monsters te genereren, waarbij de cruciale regels voor gegevenskwaliteit en -hoeveelheid in het trainen van 3D-generatieve modellen worden benadrukt. Door uitgebreide experimenten hebben we de effectiviteit van elk onderdeel in ons nieuwe raamwerk bevestigd. De naadloze integratie van deze onderdelen heeft TripoSG in staat gesteld om state-of-the-art prestaties te behalen in 3D-vormgeneratie. De resulterende 3D-vormen vertonen verbeterde details door de mogelijkheden voor hoge resolutie en tonen uitzonderlijke nauwkeurigheid ten opzichte van invoerafbeeldingen. Bovendien toont TripoSG verbeterde veelzijdigheid bij het genereren van 3D-modellen uit diverse beeldstijlen en inhoud, waarbij sterke generalisatievermogens worden gedemonstreerd. Om vooruitgang en innovatie in het veld van 3D-generatie te bevorderen, zullen we ons model openbaar beschikbaar stellen.

English

Recent advancements in diffusion techniques have propelled image and video generation to unprece- dented levels of quality, significantly accelerating the deployment and application of generative AI. However, 3D shape generation technology has so far lagged behind, constrained by limitations in 3D data scale, complexity of 3D data process- ing, and insufficient exploration of advanced tech- niques in the 3D domain. Current approaches to 3D shape generation face substantial challenges in terms of output quality, generalization capa- bility, and alignment with input conditions. We present TripoSG, a new streamlined shape diffu- sion paradigm capable of generating high-fidelity 3D meshes with precise correspondence to input images. Specifically, we propose: 1) A large-scale rectified flow transformer for 3D shape generation, achieving state-of-the-art fidelity through training on extensive, high-quality data. 2) A hybrid supervised training strategy combining SDF, normal, and eikonal losses for 3D VAE, achieving high- quality 3D reconstruction performance. 3) A data processing pipeline to generate 2 million high- quality 3D samples, highlighting the crucial rules for data quality and quantity in training 3D gen- erative models. Through comprehensive experi- ments, we have validated the effectiveness of each component in our new framework. The seamless integration of these parts has enabled TripoSG to achieve state-of-the-art performance in 3D shape generation. The resulting 3D shapes exhibit en- hanced detail due to high-resolution capabilities and demonstrate exceptional fidelity to input im- ages. Moreover, TripoSG demonstrates improved versatility in generating 3D models from diverse image styles and contents, showcasing strong gen- eralization capabilities. To foster progress and innovation in the field of 3D generation, we will make our model publicly available.