InfiniHuman: Creación Infinita de Humanos 3D con Control Preciso

InfiniHuman: Infinite 3D Human Creation with Precise Control

October 13, 2025

Autores: Yuxuan Xue, Xianghui Xie, Margaret Kostyrko, Gerard Pons-Moll

cs.AI

Resumen

Generar avatares humanos 3D realistas y controlables es un desafío de larga data, particularmente al abarcar amplios rangos de atributos como etnia, edad, estilos de vestimenta y formas corporales detalladas. Capturar y anotar grandes conjuntos de datos humanos para entrenar modelos generativos es prohibitivamente costoso y limitado en escala y diversidad. La pregunta central que abordamos en este artículo es: ¿Se pueden destilar modelos base existentes para generar datos humanos 3D teóricamente ilimitados y ricamente anotados? Presentamos InfiniHuman, un marco que destila sinérgicamente estos modelos para producir datos humanos ricamente anotados a un costo mínimo y con una escalabilidad teóricamente ilimitada. Proponemos InfiniHumanData, una pipeline completamente automática que aprovecha modelos de visión-lenguaje y generación de imágenes para crear un conjunto de datos multimodal a gran escala. Un estudio de usuario muestra que nuestras identidades generadas automáticamente son indistinguibles de renderizaciones de escaneos. InfiniHumanData contiene 111K identidades que abarcan una diversidad sin precedentes. Cada identidad está anotada con descripciones textuales de múltiples granularidades, imágenes RGB de múltiples vistas, imágenes detalladas de vestimenta y parámetros de forma corporal SMPL. Basándonos en este conjunto de datos, proponemos InfiniHumanGen, una pipeline generativa basada en difusión condicionada por texto, forma corporal y activos de vestimenta. InfiniHumanGen permite una generación rápida, realista y precisamente controlable de avatares. Experimentos extensivos demuestran mejoras significativas sobre los métodos más avanzados en calidad visual, velocidad de generación y controlabilidad. Nuestro enfoque permite la generación de avatares de alta calidad con control de grano fino a una escala efectivamente ilimitada a través de una solución práctica y asequible. Publicaremos la pipeline de generación automática de datos, el conjunto de datos completo InfiniHumanData y los modelos InfiniHumanGen en https://yuxuan-xue.com/infini-human.

English

Generating realistic and controllable 3D human avatars is a long-standing challenge, particularly when covering broad attribute ranges such as ethnicity, age, clothing styles, and detailed body shapes. Capturing and annotating large-scale human datasets for training generative models is prohibitively expensive and limited in scale and diversity. The central question we address in this paper is: Can existing foundation models be distilled to generate theoretically unbounded, richly annotated 3D human data? We introduce InfiniHuman, a framework that synergistically distills these models to produce richly annotated human data at minimal cost and with theoretically unlimited scalability. We propose InfiniHumanData, a fully automatic pipeline that leverages vision-language and image generation models to create a large-scale multi-modal dataset. User study shows our automatically generated identities are undistinguishable from scan renderings. InfiniHumanData contains 111K identities spanning unprecedented diversity. Each identity is annotated with multi-granularity text descriptions, multi-view RGB images, detailed clothing images, and SMPL body-shape parameters. Building on this dataset, we propose InfiniHumanGen, a diffusion-based generative pipeline conditioned on text, body shape, and clothing assets. InfiniHumanGen enables fast, realistic, and precisely controllable avatar generation. Extensive experiments demonstrate significant improvements over state-of-the-art methods in visual quality, generation speed, and controllability. Our approach enables high-quality avatar generation with fine-grained control at effectively unbounded scale through a practical and affordable solution. We will publicly release the automatic data generation pipeline, the comprehensive InfiniHumanData dataset, and the InfiniHumanGen models at https://yuxuan-xue.com/infini-human.