XVerse: Control Consistente de Múltiples Sujetos sobre Identidad y Atributos Semánticos mediante Modulación DiT

XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation

June 26, 2025

Autores: Bowen Chen, Mengyi Zhao, Haomiao Sun, Li Chen, Xu Wang, Kang Du, Xinglong Wu

cs.AI

Resumen

Lograr un control detallado sobre la identidad del sujeto y los atributos semánticos (pose, estilo, iluminación) en la generación de imágenes a partir de texto, especialmente para múltiples sujetos, suele comprometer la editabilidad y la coherencia de los Transformadores de Difusión (DiTs). Muchos enfoques introducen artefactos o padecen de entrelazamiento de atributos. Para superar estos desafíos, proponemos un nuevo modelo de generación controlada para múltiples sujetos llamado XVerse. Al transformar imágenes de referencia en desplazamientos para la modulación específica de tokens en el flujo de texto, XVerse permite un control preciso e independiente de sujetos específicos sin alterar los latentes o características de la imagen. En consecuencia, XVerse ofrece una síntesis de imágenes de múltiples sujetos con alta fidelidad y editabilidad, junto con un control robusto sobre las características individuales de los sujetos y sus atributos semánticos. Este avance mejora significativamente las capacidades de generación de escenas personalizadas y complejas.

English

Achieving fine-grained control over subject identity and semantic attributes (pose, style, lighting) in text-to-image generation, particularly for multiple subjects, often undermines the editability and coherence of Diffusion Transformers (DiTs). Many approaches introduce artifacts or suffer from attribute entanglement. To overcome these challenges, we propose a novel multi-subject controlled generation model XVerse. By transforming reference images into offsets for token-specific text-stream modulation, XVerse allows for precise and independent control for specific subject without disrupting image latents or features. Consequently, XVerse offers high-fidelity, editable multi-subject image synthesis with robust control over individual subject characteristics and semantic attributes. This advancement significantly improves personalized and complex scene generation capabilities.