XVerse: Controle Consistente de Múltiplos Sujeitos sobre Identidade e Atributos Semânticos via Modulação DiT

XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation

June 26, 2025

Autores: Bowen Chen, Mengyi Zhao, Haomiao Sun, Li Chen, Xu Wang, Kang Du, Xinglong Wu

cs.AI

Resumo

Alcançar controle refinado sobre a identidade do sujeito e atributos semânticos (pose, estilo, iluminação) na geração de imagens a partir de texto, especialmente para múltiplos sujeitos, frequentemente compromete a editabilidade e a coerência dos Transformers de Difusão (DiTs). Muitas abordagens introduzem artefatos ou sofrem com emaranhamento de atributos. Para superar esses desafios, propomos um novo modelo de geração controlada para múltiplos sujeitos chamado XVerse. Ao transformar imagens de referência em deslocamentos para a modulação específica de tokens no fluxo de texto, o XVerse permite um controle preciso e independente para sujeitos específicos sem perturbar os latentes ou características da imagem. Consequentemente, o XVerse oferece síntese de imagens de múltiplos sujeitos com alta fidelidade e editabilidade, com controle robusto sobre as características individuais dos sujeitos e atributos semânticos. Esse avanço melhora significativamente as capacidades de geração de cenas personalizadas e complexas.

English

Achieving fine-grained control over subject identity and semantic attributes (pose, style, lighting) in text-to-image generation, particularly for multiple subjects, often undermines the editability and coherence of Diffusion Transformers (DiTs). Many approaches introduce artifacts or suffer from attribute entanglement. To overcome these challenges, we propose a novel multi-subject controlled generation model XVerse. By transforming reference images into offsets for token-specific text-stream modulation, XVerse allows for precise and independent control for specific subject without disrupting image latents or features. Consequently, XVerse offers high-fidelity, editable multi-subject image synthesis with robust control over individual subject characteristics and semantic attributes. This advancement significantly improves personalized and complex scene generation capabilities.