Subjektkonsistente und posenvielfältige Text-zu-Bild-Generierung

Subject-Consistent and Pose-Diverse Text-to-Image Generation

July 11, 2025

papers.authors: Zhanxin Gao, Beier Zhu, Liang Yao, Jian Yang, Ying Tai

cs.AI

papers.abstract

Die subjektkonsistente Generierung (Subject-consistent Generation, SCG), die darauf abzielt, eine konsistente Subjektidentität über verschiedene Szenen hinweg beizubehalten, bleibt eine Herausforderung für Text-zu-Bild (Text-to-Image, T2I)-Modelle. Bestehende trainingsfreie SCG-Methoden erreichen oft Konsistenz auf Kosten der Layout- und Posendiversität, was die ausdrucksstarke visuelle Erzählung behindert. Um diese Einschränkung zu überwinden, schlagen wir ein subjektkonsistentes und posendiverses T2I-Framework vor, das als CoDi bezeichnet wird und eine konsistente Subjektgenerierung mit diversen Posen und Layouts ermöglicht. Motiviert durch den progressiven Charakter der Diffusion, bei dem grobe Strukturen früh entstehen und feine Details später verfeinert werden, verfolgt CoDi eine zweistufige Strategie: Identity Transport (IT) und Identity Refinement (IR). IT arbeitet in den frühen Entrauschungsschritten und verwendet optimalen Transport, um Identitätsmerkmale auf eine posenbewusste Weise auf jedes Zielbild zu übertragen. Dies fördert die Subjektkonsistenz bei gleichzeitiger Bewahrung der Posendiversität. IR wird in den späteren Entrauschungsschritten angewendet, um die markantesten Identitätsmerkmale auszuwählen und die Subjektdetails weiter zu verfeinern. Umfangreiche qualitative und quantitative Ergebnisse zur Subjektkonsistenz, Posendiversität und Prompt-Treue zeigen, dass CoDi sowohl eine bessere visuelle Wahrnehmung als auch eine stärkere Leistung über alle Metriken hinweg erreicht. Der Code ist unter https://github.com/NJU-PCALab/CoDi verfügbar.

English

Subject-consistent generation (SCG)-aiming to maintain a consistent subject identity across diverse scenes-remains a challenge for text-to-image (T2I) models. Existing training-free SCG methods often achieve consistency at the cost of layout and pose diversity, hindering expressive visual storytelling. To address the limitation, we propose subject-Consistent and pose-Diverse T2I framework, dubbed as CoDi, that enables consistent subject generation with diverse pose and layout. Motivated by the progressive nature of diffusion, where coarse structures emerge early and fine details are refined later, CoDi adopts a two-stage strategy: Identity Transport (IT) and Identity Refinement (IR). IT operates in the early denoising steps, using optimal transport to transfer identity features to each target image in a pose-aware manner. This promotes subject consistency while preserving pose diversity. IR is applied in the later denoising steps, selecting the most salient identity features to further refine subject details. Extensive qualitative and quantitative results on subject consistency, pose diversity, and prompt fidelity demonstrate that CoDi achieves both better visual perception and stronger performance across all metrics. The code is provided in https://github.com/NJU-PCALab/CoDi.