TripoSG: Синтез трехмерных форм высокой точности с использованием моделей потоков большого масштаба с прямоугольными коррекциями

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

February 10, 2025

Авторы: Yangguang Li, Zi-Xin Zou, Zexiang Liu, Dehu Wang, Yuan Liang, Zhipeng Yu, Xingchao Liu, Yuan-Chen Guo, Ding Liang, Wanli Ouyang, Yan-Pei Cao

cs.AI

Аннотация

Недавние достижения в области техник диффузии подняли генерацию изображений и видео на невиданный уровень качества, значительно ускорив внедрение и применение генеративного искусственного интеллекта. Однако технология генерации 3D форм до сих пор отстает, ограниченная масштабом 3D данных, сложностью обработки 3D данных и недостаточным изучением передовых техник в области 3D. Существующие подходы к генерации 3D форм сталкиваются с существенными вызовами в области качества вывода, обобщающей способности и соответствия входным условиям. Мы представляем TripoSG, новую упрощенную парадигму диффузии формы, способную генерировать высококачественные 3D сетки с точным соответствием входным изображениям. Конкретно, мы предлагаем: 1) Большой прямоугольный потоковый трансформатор для генерации 3D форм, достигающий передового качества благодаря обучению на обширных данных высокого качества. 2) Гибридную стратегию обучения с учителем, объединяющую потери SDF, нормалей и эйконов для 3D VAE, достигая высококачественной производительности 3D реконструкции. 3) Пайплайн обработки данных для генерации 2 миллионов высококачественных 3D образцов, выделяя ключевые правила для качества и количества данных в обучении 3D генеративных моделей. Через комплексные эксперименты мы подтвердили эффективность каждого компонента в нашей новой структуре. Безупречная интеграция этих частей позволила TripoSG достичь передовой производительности в генерации 3D форм. Полученные 3D формы обладают улучшенной детализацией благодаря возможностям высокого разрешения и демонстрируют исключительную точность по отношению к входным изображениям. Более того, TripoSG демонстрирует улучшенную универсальность в генерации 3D моделей из различных стилей и содержания изображений, показывая сильные обобщающие способности. Для содействия прогрессу и инновациям в области генерации 3D, мы сделаем нашу модель общедоступной.

English

Recent advancements in diffusion techniques have propelled image and video generation to unprece- dented levels of quality, significantly accelerating the deployment and application of generative AI. However, 3D shape generation technology has so far lagged behind, constrained by limitations in 3D data scale, complexity of 3D data process- ing, and insufficient exploration of advanced tech- niques in the 3D domain. Current approaches to 3D shape generation face substantial challenges in terms of output quality, generalization capa- bility, and alignment with input conditions. We present TripoSG, a new streamlined shape diffu- sion paradigm capable of generating high-fidelity 3D meshes with precise correspondence to input images. Specifically, we propose: 1) A large-scale rectified flow transformer for 3D shape generation, achieving state-of-the-art fidelity through training on extensive, high-quality data. 2) A hybrid supervised training strategy combining SDF, normal, and eikonal losses for 3D VAE, achieving high- quality 3D reconstruction performance. 3) A data processing pipeline to generate 2 million high- quality 3D samples, highlighting the crucial rules for data quality and quantity in training 3D gen- erative models. Through comprehensive experi- ments, we have validated the effectiveness of each component in our new framework. The seamless integration of these parts has enabled TripoSG to achieve state-of-the-art performance in 3D shape generation. The resulting 3D shapes exhibit en- hanced detail due to high-resolution capabilities and demonstrate exceptional fidelity to input im- ages. Moreover, TripoSG demonstrates improved versatility in generating 3D models from diverse image styles and contents, showcasing strong gen- eralization capabilities. To foster progress and innovation in the field of 3D generation, we will make our model publicly available.