Генерация изображений из текста с сохранением объекта и разнообразием поз

Subject-Consistent and Pose-Diverse Text-to-Image Generation

July 11, 2025

Авторы: Zhanxin Gao, Beier Zhu, Liang Yao, Jian Yang, Ying Tai

cs.AI

Аннотация

Генерация с сохранением субъекта (Subject-consistent generation, SCG), направленная на поддержание идентичности субъекта в различных сценах, остается сложной задачей для моделей преобразования текста в изображение (text-to-image, T2I). Существующие методы SCG, не требующие обучения, часто достигают согласованности за счет ограничения разнообразия композиции и поз, что затрудняет выразительное визуальное повествование. Чтобы преодолеть это ограничение, мы предлагаем фреймворк для генерации изображений с сохранением субъекта и разнообразием поз, названный CoDi (Subject-Consistent and Pose-Diverse T2I framework). Вдохновленные прогрессивной природой диффузии, где грубые структуры формируются на ранних этапах, а детали уточняются позже, CoDi использует двухэтапную стратегию: Транспортировка идентичности (Identity Transport, IT) и Уточнение идентичности (Identity Refinement, IR). IT работает на ранних этапах шумоподавления, применяя оптимальную транспортировку для передачи характеристик идентичности в каждое целевое изображение с учетом позы. Это способствует согласованности субъекта при сохранении разнообразия поз. IR применяется на поздних этапах шумоподавления, выбирая наиболее значимые характеристики идентичности для дальнейшего уточнения деталей субъекта. Обширные качественные и количественные результаты по согласованности субъекта, разнообразию поз и соответствию текстовому описанию демонстрируют, что CoDi обеспечивает как лучшее визуальное восприятие, так и более высокую производительность по всем метрикам. Код доступен по адресу: https://github.com/NJU-PCALab/CoDi.

English

Subject-consistent generation (SCG)-aiming to maintain a consistent subject identity across diverse scenes-remains a challenge for text-to-image (T2I) models. Existing training-free SCG methods often achieve consistency at the cost of layout and pose diversity, hindering expressive visual storytelling. To address the limitation, we propose subject-Consistent and pose-Diverse T2I framework, dubbed as CoDi, that enables consistent subject generation with diverse pose and layout. Motivated by the progressive nature of diffusion, where coarse structures emerge early and fine details are refined later, CoDi adopts a two-stage strategy: Identity Transport (IT) and Identity Refinement (IR). IT operates in the early denoising steps, using optimal transport to transfer identity features to each target image in a pose-aware manner. This promotes subject consistency while preserving pose diversity. IR is applied in the later denoising steps, selecting the most salient identity features to further refine subject details. Extensive qualitative and quantitative results on subject consistency, pose diversity, and prompt fidelity demonstrate that CoDi achieves both better visual perception and stronger performance across all metrics. The code is provided in https://github.com/NJU-PCALab/CoDi.