InfiniHuman: Creazione Infinita di Umani 3D con Controllo Preciso

InfiniHuman: Infinite 3D Human Creation with Precise Control

October 13, 2025

Autori: Yuxuan Xue, Xianghui Xie, Margaret Kostyrko, Gerard Pons-Moll

cs.AI

Abstract

Generare avatar umani 3D realistici e controllabili rappresenta una sfida di lunga data, in particolare quando si coprono ampi intervalli di attributi come etnia, età, stili di abbigliamento e forme corporee dettagliate. Acquisire e annotare dataset umani su larga scala per addestrare modelli generativi è proibitivamente costoso e limitato in termini di scala e diversità. La domanda centrale che affrontiamo in questo articolo è: È possibile distillare modelli di base esistenti per generare dati umani 3D teoricamente illimitati e riccamente annotati? Introduciamo InfiniHuman, un framework che sinergicamente distilla questi modelli per produrre dati umani riccamente annotati a costi minimi e con una scalabilità teoricamente illimitata. Proponiamo InfiniHumanData, una pipeline completamente automatica che sfrutta modelli di visione-linguaggio e generazione di immagini per creare un dataset multi-modale su larga scala. Uno studio con utenti dimostra che le identità generate automaticamente sono indistinguibili dalle renderizzazioni di scansioni. InfiniHumanData contiene 111K identità che coprono una diversità senza precedenti. Ogni identità è annotata con descrizioni testuali multi-granularità, immagini RGB multi-vista, immagini dettagliate dell'abbigliamento e parametri di forma corporea SMPL. Basandoci su questo dataset, proponiamo InfiniHumanGen, una pipeline generativa basata su diffusione condizionata da testo, forma corporea e asset di abbigliamento. InfiniHumanGen consente una generazione rapida, realistica e precisamente controllabile di avatar. Esperimenti estensivi dimostrano miglioramenti significativi rispetto ai metodi all'avanguardia in termini di qualità visiva, velocità di generazione e controllabilità. Il nostro approccio abilita la generazione di avatar di alta qualità con un controllo fine a una scala effettivamente illimitata attraverso una soluzione pratica e accessibile. Rilasceremo pubblicamente la pipeline automatica di generazione dati, il dataset completo InfiniHumanData e i modelli InfiniHumanGen su https://yuxuan-xue.com/infini-human.

English

Generating realistic and controllable 3D human avatars is a long-standing challenge, particularly when covering broad attribute ranges such as ethnicity, age, clothing styles, and detailed body shapes. Capturing and annotating large-scale human datasets for training generative models is prohibitively expensive and limited in scale and diversity. The central question we address in this paper is: Can existing foundation models be distilled to generate theoretically unbounded, richly annotated 3D human data? We introduce InfiniHuman, a framework that synergistically distills these models to produce richly annotated human data at minimal cost and with theoretically unlimited scalability. We propose InfiniHumanData, a fully automatic pipeline that leverages vision-language and image generation models to create a large-scale multi-modal dataset. User study shows our automatically generated identities are undistinguishable from scan renderings. InfiniHumanData contains 111K identities spanning unprecedented diversity. Each identity is annotated with multi-granularity text descriptions, multi-view RGB images, detailed clothing images, and SMPL body-shape parameters. Building on this dataset, we propose InfiniHumanGen, a diffusion-based generative pipeline conditioned on text, body shape, and clothing assets. InfiniHumanGen enables fast, realistic, and precisely controllable avatar generation. Extensive experiments demonstrate significant improvements over state-of-the-art methods in visual quality, generation speed, and controllability. Our approach enables high-quality avatar generation with fine-grained control at effectively unbounded scale through a practical and affordable solution. We will publicly release the automatic data generation pipeline, the comprehensive InfiniHumanData dataset, and the InfiniHumanGen models at https://yuxuan-xue.com/infini-human.