InfiniHuman: Criação Infinita de Humanos 3D com Controle Preciso

InfiniHuman: Infinite 3D Human Creation with Precise Control

October 13, 2025

Autores: Yuxuan Xue, Xianghui Xie, Margaret Kostyrko, Gerard Pons-Moll

cs.AI

Resumo

Gerar avatares humanos 3D realistas e controláveis é um desafio de longa data, especialmente ao abranger amplas faixas de atributos como etnia, idade, estilos de vestuário e formas corporais detalhadas. Capturar e anotar grandes conjuntos de dados humanos para treinar modelos generativos é proibitivamente caro e limitado em escala e diversidade. A questão central que abordamos neste artigo é: Modelos de base existentes podem ser destilados para gerar dados humanos 3D teoricamente ilimitados e ricamente anotados? Apresentamos o InfiniHuman, um framework que sinergicamente destila esses modelos para produzir dados humanos ricamente anotados a um custo mínimo e com escalabilidade teoricamente ilimitada. Propomos o InfiniHumanData, um pipeline totalmente automático que aproveita modelos de visão-linguagem e geração de imagens para criar um conjunto de dados multimodal em grande escala. Um estudo com usuários mostra que nossas identidades geradas automaticamente são indistinguíveis de renderizações de escaneamentos. O InfiniHumanData contém 111 mil identidades abrangendo uma diversidade sem precedentes. Cada identidade é anotada com descrições textuais de múltiplas granularidades, imagens RGB de múltiplas vistas, imagens detalhadas de roupas e parâmetros de forma corporal SMPL. Com base nesse conjunto de dados, propomos o InfiniHumanGen, um pipeline generativo baseado em difusão condicionado em texto, forma corporal e ativos de vestuário. O InfiniHumanGen permite a geração rápida, realista e precisamente controlável de avatares. Experimentos extensivos demonstram melhorias significativas em relação aos métodos state-of-the-art em qualidade visual, velocidade de geração e controlabilidade. Nossa abordagem permite a geração de avatares de alta qualidade com controle refinado em uma escala efetivamente ilimitada por meio de uma solução prática e acessível. Disponibilizaremos publicamente o pipeline de geração automática de dados, o conjunto de dados abrangente InfiniHumanData e os modelos InfiniHumanGen em https://yuxuan-xue.com/infini-human.

English

Generating realistic and controllable 3D human avatars is a long-standing challenge, particularly when covering broad attribute ranges such as ethnicity, age, clothing styles, and detailed body shapes. Capturing and annotating large-scale human datasets for training generative models is prohibitively expensive and limited in scale and diversity. The central question we address in this paper is: Can existing foundation models be distilled to generate theoretically unbounded, richly annotated 3D human data? We introduce InfiniHuman, a framework that synergistically distills these models to produce richly annotated human data at minimal cost and with theoretically unlimited scalability. We propose InfiniHumanData, a fully automatic pipeline that leverages vision-language and image generation models to create a large-scale multi-modal dataset. User study shows our automatically generated identities are undistinguishable from scan renderings. InfiniHumanData contains 111K identities spanning unprecedented diversity. Each identity is annotated with multi-granularity text descriptions, multi-view RGB images, detailed clothing images, and SMPL body-shape parameters. Building on this dataset, we propose InfiniHumanGen, a diffusion-based generative pipeline conditioned on text, body shape, and clothing assets. InfiniHumanGen enables fast, realistic, and precisely controllable avatar generation. Extensive experiments demonstrate significant improvements over state-of-the-art methods in visual quality, generation speed, and controllability. Our approach enables high-quality avatar generation with fine-grained control at effectively unbounded scale through a practical and affordable solution. We will publicly release the automatic data generation pipeline, the comprehensive InfiniHumanData dataset, and the InfiniHumanGen models at https://yuxuan-xue.com/infini-human.