Onderwerp-consistente en pose-diverse tekst-naar-beeldgeneratie

Subject-Consistent and Pose-Diverse Text-to-Image Generation

July 11, 2025

Auteurs: Zhanxin Gao, Beier Zhu, Liang Yao, Jian Yang, Ying Tai

cs.AI

Samenvatting

Onderwerp-consistente generatie (SCG) - gericht op het behouden van een consistente onderwerpidentiteit in diverse scènes - blijft een uitdaging voor tekst-naar-beeld (T2I) modellen. Bestaande trainingsvrije SCG-methoden bereiken vaak consistentie ten koste van lay-out en pose-diversiteit, wat expressief visueel verhalen vertellen belemmert. Om deze beperking aan te pakken, stellen we een onderwerp-consistente en pose-diverse T2I-framework voor, genaamd CoDi, dat consistente onderwerpgeneratie mogelijk maakt met diverse poses en lay-outs. Geïnspireerd door het progressieve karakter van diffusie, waarbij grove structuren vroeg ontstaan en fijne details later worden verfijnd, hanteert CoDi een tweestapsstrategie: Identiteit Transport (IT) en Identiteit Verfijning (IR). IT werkt in de vroege denoising-stappen en gebruikt optimaal transport om identiteitskenmerken op een pose-bewuste manier naar elk doelbeeld over te dragen. Dit bevordert onderwerpconsistentie terwijl pose-diversiteit behouden blijft. IR wordt toegepast in de latere denoising-stappen, waarbij de meest opvallende identiteitskenmerken worden geselecteerd om onderwerpdetails verder te verfijnen. Uitgebreide kwalitatieve en kwantitatieve resultaten op het gebied van onderwerpconsistentie, pose-diversiteit en prompt-trouw tonen aan dat CoDi zowel een betere visuele perceptie als een sterkere prestaties op alle metrieken bereikt. De code is beschikbaar op https://github.com/NJU-PCALab/CoDi.

English

Subject-consistent generation (SCG)-aiming to maintain a consistent subject identity across diverse scenes-remains a challenge for text-to-image (T2I) models. Existing training-free SCG methods often achieve consistency at the cost of layout and pose diversity, hindering expressive visual storytelling. To address the limitation, we propose subject-Consistent and pose-Diverse T2I framework, dubbed as CoDi, that enables consistent subject generation with diverse pose and layout. Motivated by the progressive nature of diffusion, where coarse structures emerge early and fine details are refined later, CoDi adopts a two-stage strategy: Identity Transport (IT) and Identity Refinement (IR). IT operates in the early denoising steps, using optimal transport to transfer identity features to each target image in a pose-aware manner. This promotes subject consistency while preserving pose diversity. IR is applied in the later denoising steps, selecting the most salient identity features to further refine subject details. Extensive qualitative and quantitative results on subject consistency, pose diversity, and prompt fidelity demonstrate that CoDi achieves both better visual perception and stronger performance across all metrics. The code is provided in https://github.com/NJU-PCALab/CoDi.