InfiniHuman: Oneindige 3D Menselijke Creatie met Nauwkeurige Controle

InfiniHuman: Infinite 3D Human Creation with Precise Control

October 13, 2025

Auteurs: Yuxuan Xue, Xianghui Xie, Margaret Kostyrko, Gerard Pons-Moll

cs.AI

Samenvatting

Het genereren van realistische en controleerbare 3D-menselijke avatars is een lang bestaande uitdaging, vooral wanneer brede attribuutbereiken zoals etniciteit, leeftijd, kledingstijlen en gedetailleerde lichaamsvormen moeten worden afgedekt. Het vastleggen en annoteren van grootschalige menselijke datasets voor het trainen van generatieve modellen is buitensporig duur en beperkt in schaal en diversiteit. De centrale vraag die wij in dit artikel behandelen is: Kunnen bestaande foundation-modellen worden gedistilleerd om theoretisch onbeperkte, rijk geannoteerde 3D-menselijke data te genereren? Wij introduceren InfiniHuman, een raamwerk dat deze modellen synergetisch distilleert om rijk geannoteerde menselijke data te produceren tegen minimale kosten en met theoretisch onbeperkte schaalbaarheid. Wij stellen InfiniHumanData voor, een volledig automatische pijplijn die vision-language- en beeldgeneratiemodellen benut om een grootschalige multimodale dataset te creëren. Een gebruikersstudie toont aan dat onze automatisch gegenereerde identiteiten niet te onderscheiden zijn van scanweergaven. InfiniHumanData bevat 111K identiteiten met een ongekende diversiteit. Elke identiteit is geannoteerd met multigranulaire tekstbeschrijvingen, multi-view RGB-beelden, gedetailleerde kledingbeelden en SMPL-lichaamsvormparameters. Op basis van deze dataset stellen wij InfiniHumanGen voor, een op diffusie gebaseerde generatieve pijplijn die wordt geconditioneerd op tekst, lichaamsvorm en kledingassets. InfiniHumanGen maakt snelle, realistische en precies controleerbare avatar-generatie mogelijk. Uitgebreide experimenten tonen significante verbeteringen aan ten opzichte van state-of-the-art methoden in visuele kwaliteit, generatiesnelheid en controleerbaarheid. Onze aanpak maakt hoogwaardige avatar-generatie mogelijk met fijnmazige controle op effectief onbeperkte schaal door middel van een praktische en betaalbare oplossing. Wij zullen de automatische datageneratiepijplijn, de uitgebreide InfiniHumanData-dataset en de InfiniHumanGen-modellen openbaar beschikbaar stellen op https://yuxuan-xue.com/infini-human.

English

Generating realistic and controllable 3D human avatars is a long-standing challenge, particularly when covering broad attribute ranges such as ethnicity, age, clothing styles, and detailed body shapes. Capturing and annotating large-scale human datasets for training generative models is prohibitively expensive and limited in scale and diversity. The central question we address in this paper is: Can existing foundation models be distilled to generate theoretically unbounded, richly annotated 3D human data? We introduce InfiniHuman, a framework that synergistically distills these models to produce richly annotated human data at minimal cost and with theoretically unlimited scalability. We propose InfiniHumanData, a fully automatic pipeline that leverages vision-language and image generation models to create a large-scale multi-modal dataset. User study shows our automatically generated identities are undistinguishable from scan renderings. InfiniHumanData contains 111K identities spanning unprecedented diversity. Each identity is annotated with multi-granularity text descriptions, multi-view RGB images, detailed clothing images, and SMPL body-shape parameters. Building on this dataset, we propose InfiniHumanGen, a diffusion-based generative pipeline conditioned on text, body shape, and clothing assets. InfiniHumanGen enables fast, realistic, and precisely controllable avatar generation. Extensive experiments demonstrate significant improvements over state-of-the-art methods in visual quality, generation speed, and controllability. Our approach enables high-quality avatar generation with fine-grained control at effectively unbounded scale through a practical and affordable solution. We will publicly release the automatic data generation pipeline, the comprehensive InfiniHumanData dataset, and the InfiniHumanGen models at https://yuxuan-xue.com/infini-human.