TripoSG: Síntese de Forma 3D de Alta Fidelidade usando Modelos de Fluxo Retificado em Grande Escala

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

February 10, 2025

Autores: Yangguang Li, Zi-Xin Zou, Zexiang Liu, Dehu Wang, Yuan Liang, Zhipeng Yu, Xingchao Liu, Yuan-Chen Guo, Ding Liang, Wanli Ouyang, Yan-Pei Cao

cs.AI

Resumo

Os avanços recentes nas técnicas de difusão impulsionaram a geração de imagens e vídeos para níveis sem precedentes de qualidade, acelerando significativamente a implementação e aplicação de IA generativa. No entanto, a tecnologia de geração de formas 3D até agora ficou para trás, limitada por restrições na escala de dados 3D, complexidade no processamento de dados 3D e exploração insuficiente de técnicas avançadas no domínio 3D. As abordagens atuais para geração de formas 3D enfrentam desafios substanciais em termos de qualidade de saída, capacidade de generalização e alinhamento com condições de entrada. Apresentamos o TripoSG, um novo paradigma de difusão de formas simplificado capaz de gerar malhas 3D de alta fidelidade com correspondência precisa às imagens de entrada. Especificamente, propomos: 1) Um transformador de fluxo retificado em grande escala para geração de formas 3D, alcançando fidelidade de ponta por meio do treinamento em dados extensos e de alta qualidade. 2) Uma estratégia de treinamento supervisionado híbrido combinando perdas SDF, normais e eikonais para VAE 3D, alcançando desempenho de reconstrução 3D de alta qualidade. 3) Um pipeline de processamento de dados para gerar 2 milhões de amostras 3D de alta qualidade, destacando as regras cruciais para qualidade e quantidade de dados no treinamento de modelos generativos 3D. Através de experimentos abrangentes, validamos a eficácia de cada componente em nosso novo framework. A integração perfeita dessas partes permitiu ao TripoSG alcançar desempenho de ponta na geração de formas 3D. As formas 3D resultantes exibem detalhes aprimorados devido às capacidades de alta resolução e demonstram fidelidade excepcional às imagens de entrada. Além disso, o TripoSG demonstra maior versatilidade na geração de modelos 3D a partir de estilos e conteúdos de imagem diversos, mostrando fortes capacidades de generalização. Para promover o progresso e a inovação no campo da geração 3D, disponibilizaremos nosso modelo publicamente.

English

Recent advancements in diffusion techniques have propelled image and video generation to unprece- dented levels of quality, significantly accelerating the deployment and application of generative AI. However, 3D shape generation technology has so far lagged behind, constrained by limitations in 3D data scale, complexity of 3D data process- ing, and insufficient exploration of advanced tech- niques in the 3D domain. Current approaches to 3D shape generation face substantial challenges in terms of output quality, generalization capa- bility, and alignment with input conditions. We present TripoSG, a new streamlined shape diffu- sion paradigm capable of generating high-fidelity 3D meshes with precise correspondence to input images. Specifically, we propose: 1) A large-scale rectified flow transformer for 3D shape generation, achieving state-of-the-art fidelity through training on extensive, high-quality data. 2) A hybrid supervised training strategy combining SDF, normal, and eikonal losses for 3D VAE, achieving high- quality 3D reconstruction performance. 3) A data processing pipeline to generate 2 million high- quality 3D samples, highlighting the crucial rules for data quality and quantity in training 3D gen- erative models. Through comprehensive experi- ments, we have validated the effectiveness of each component in our new framework. The seamless integration of these parts has enabled TripoSG to achieve state-of-the-art performance in 3D shape generation. The resulting 3D shapes exhibit en- hanced detail due to high-resolution capabilities and demonstrate exceptional fidelity to input im- ages. Moreover, TripoSG demonstrates improved versatility in generating 3D models from diverse image styles and contents, showcasing strong gen- eralization capabilities. To foster progress and innovation in the field of 3D generation, we will make our model publicly available.