Disco4D: Geração e Animação Humana 4D Desembaraçada a partir de uma Única Imagem

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

Autores: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

Resumo

Apresentamos o Disco4D, um novo framework de Splatting Gaussiano para geração e animação humanas em 4D a partir de uma única imagem. Diferente dos métodos existentes, o Disco4D desvencilha de forma distinta as roupas (com modelos Gaussianos) do corpo humano (com o modelo SMPL-X), melhorando significativamente os detalhes e a flexibilidade na geração. Ele apresenta as seguintes inovações técnicas. 1) O Disco4D aprende a ajustar de forma eficiente os Gaussianos de roupas sobre os Gaussianos do SMPL-X. 2) Adota modelos de difusão para aprimorar o processo de geração 3D, por exemplo, modelando partes ocultas não visíveis na imagem de entrada. 3) Aprende uma codificação de identidade para cada Gaussiano de roupa para facilitar a separação e extração dos elementos de vestuário. Além disso, o Disco4D suporta naturalmente a animação humana em 4D com dinâmicas vívidas. Experimentos extensivos demonstram a superioridade do Disco4D em tarefas de geração e animação humanas em 4D. Nossas visualizações podem ser encontradas em https://disco-4d.github.io/.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.