Generación de Imágenes a partir de Texto con Consistencia Temática y Diversidad de Poses

Subject-Consistent and Pose-Diverse Text-to-Image Generation

July 11, 2025

Autores: Zhanxin Gao, Beier Zhu, Liang Yao, Jian Yang, Ying Tai

cs.AI

Resumen

La generación consistente de sujetos (SCG, por sus siglas en inglés), que busca mantener una identidad de sujeto consistente en diversas escenas, sigue siendo un desafío para los modelos de texto a imagen (T2I). Los métodos existentes de SCG sin entrenamiento a menudo logran consistencia a costa de la diversidad de disposición y pose, lo que dificulta la narración visual expresiva. Para abordar esta limitación, proponemos un marco T2I consistente en sujetos y diverso en poses, denominado CoDi, que permite la generación de sujetos consistentes con diversas poses y disposiciones. Motivados por la naturaleza progresiva de la difusión, donde las estructuras gruesas emergen temprano y los detalles finos se refinan más tarde, CoDi adopta una estrategia de dos etapas: Transporte de Identidad (IT) y Refinamiento de Identidad (IR). IT opera en los primeros pasos de eliminación de ruido, utilizando transporte óptimo para transferir características de identidad a cada imagen objetivo de manera consciente de la pose. Esto promueve la consistencia del sujeto mientras preserva la diversidad de poses. IR se aplica en los pasos posteriores de eliminación de ruido, seleccionando las características de identidad más destacadas para refinar aún más los detalles del sujeto. Los resultados cualitativos y cuantitativos extensos en consistencia de sujetos, diversidad de poses y fidelidad al prompt demuestran que CoDi logra tanto una mejor percepción visual como un rendimiento más sólido en todas las métricas. El código se proporciona en https://github.com/NJU-PCALab/CoDi.

English

Subject-consistent generation (SCG)-aiming to maintain a consistent subject identity across diverse scenes-remains a challenge for text-to-image (T2I) models. Existing training-free SCG methods often achieve consistency at the cost of layout and pose diversity, hindering expressive visual storytelling. To address the limitation, we propose subject-Consistent and pose-Diverse T2I framework, dubbed as CoDi, that enables consistent subject generation with diverse pose and layout. Motivated by the progressive nature of diffusion, where coarse structures emerge early and fine details are refined later, CoDi adopts a two-stage strategy: Identity Transport (IT) and Identity Refinement (IR). IT operates in the early denoising steps, using optimal transport to transfer identity features to each target image in a pose-aware manner. This promotes subject consistency while preserving pose diversity. IR is applied in the later denoising steps, selecting the most salient identity features to further refine subject details. Extensive qualitative and quantitative results on subject consistency, pose diversity, and prompt fidelity demonstrate that CoDi achieves both better visual perception and stronger performance across all metrics. The code is provided in https://github.com/NJU-PCALab/CoDi.