StdGEN: Generación de Personajes 3D Semánticamente Descompuesta a partir de Imágenes Individuales

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Autores: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Resumen

Presentamos StdGEN, un innovador pipeline para generar personajes 3D de alta calidad descompuestos semánticamente a partir de imágenes individuales, lo que permite diversas aplicaciones en realidad virtual, videojuegos, cine, entre otros. A diferencia de métodos anteriores que luchan con una descomponibilidad limitada, calidad insatisfactoria y largos tiempos de optimización, StdGEN se destaca por su descomponibilidad, efectividad y eficiencia; es decir, genera personajes 3D detallados con intrincados componentes semánticos separados como el cuerpo, la ropa y el cabello, en tres minutos. En el núcleo de StdGEN se encuentra nuestro propuesto Modelo de Reconstrucción Grande Consciente de la Semántica (S-LRM), un modelo generalizable basado en transformers que reconstruye conjuntamente geometría, color y semántica a partir de imágenes de múltiples vistas de manera feed-forward. Se introduce un esquema diferenciable de extracción de superficie semántica de múltiples capas para adquirir mallas a partir de campos implícitos híbridos reconstruidos por nuestro S-LRM. Además, se integra en el pipeline un modelo de difusión eficiente de múltiples vistas y un módulo iterativo de refinamiento de superficie de múltiples capas especializado para facilitar la generación de personajes 3D de alta calidad y descomponibles. Experimentos extensos demuestran nuestro rendimiento de vanguardia en la generación de personajes de anime 3D, superando significativamente a los puntos de referencia existentes en geometría, textura y descomponibilidad. StdGEN ofrece personajes 3D descompuestos semánticamente listos para usar y permite una personalización flexible para una amplia gama de aplicaciones. Página del proyecto: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io