Generazione di Immagini da Testo con Soggetto Coerente e Pose Diversificate

Subject-Consistent and Pose-Diverse Text-to-Image Generation

July 11, 2025

Autori: Zhanxin Gao, Beier Zhu, Liang Yao, Jian Yang, Ying Tai

cs.AI

Abstract

La generazione coerente del soggetto (SCG), che mira a mantenere un'identità del soggetto coerente attraverso scene diverse, rimane una sfida per i modelli di testo-immagine (T2I). I metodi SCG esistenti senza addestramento spesso raggiungono la coerenza a scapito della diversità di layout e pose, limitando la narrazione visiva espressiva. Per affrontare questa limitazione, proponiamo un framework T2I coerente con il soggetto e con pose diverse, denominato CoDi, che consente la generazione coerente del soggetto con pose e layout vari. Ispirati dalla natura progressiva della diffusione, in cui le strutture grossolane emergono precocemente e i dettagli fini vengono raffinati successivamente, CoDi adotta una strategia in due fasi: Trasporto dell'Identità (IT) e Raffinamento dell'Identità (IR). IT opera nei primi passi di denoising, utilizzando il trasporto ottimale per trasferire le caratteristiche dell'identità a ciascuna immagine target in modo consapevole della posa. Ciò promuove la coerenza del soggetto preservando la diversità delle pose. IR viene applicato nei passi successivi di denoising, selezionando le caratteristiche dell'identità più salienti per affinare ulteriormente i dettagli del soggetto. Risultati qualitativi e quantitativi estesi sulla coerenza del soggetto, la diversità delle pose e la fedeltà al prompt dimostrano che CoDi raggiunge sia una migliore percezione visiva che prestazioni più solide in tutte le metriche. Il codice è disponibile su https://github.com/NJU-PCALab/CoDi.

English

Subject-consistent generation (SCG)-aiming to maintain a consistent subject identity across diverse scenes-remains a challenge for text-to-image (T2I) models. Existing training-free SCG methods often achieve consistency at the cost of layout and pose diversity, hindering expressive visual storytelling. To address the limitation, we propose subject-Consistent and pose-Diverse T2I framework, dubbed as CoDi, that enables consistent subject generation with diverse pose and layout. Motivated by the progressive nature of diffusion, where coarse structures emerge early and fine details are refined later, CoDi adopts a two-stage strategy: Identity Transport (IT) and Identity Refinement (IR). IT operates in the early denoising steps, using optimal transport to transfer identity features to each target image in a pose-aware manner. This promotes subject consistency while preserving pose diversity. IR is applied in the later denoising steps, selecting the most salient identity features to further refine subject details. Extensive qualitative and quantitative results on subject consistency, pose diversity, and prompt fidelity demonstrate that CoDi achieves both better visual perception and stronger performance across all metrics. The code is provided in https://github.com/NJU-PCALab/CoDi.