XVerse: Konsistente Steuerung von Identität und semantischen Attributen bei mehreren Subjekten durch DiT-Modulation

XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation

June 26, 2025

Autoren: Bowen Chen, Mengyi Zhao, Haomiao Sun, Li Chen, Xu Wang, Kang Du, Xinglong Wu

cs.AI

Zusammenfassung

Die Erzielung einer feinkörnigen Kontrolle über Subjektidentität und semantische Attribute (Pose, Stil, Beleuchtung) in der Text-zu-Bild-Generierung, insbesondere bei mehreren Subjekten, beeinträchtigt häufig die Bearbeitbarkeit und Kohärenz von Diffusion Transformers (DiTs). Viele Ansätze führen Artefakte ein oder leiden unter Attributverflechtung. Um diese Herausforderungen zu bewältigen, schlagen wir ein neuartiges Modell zur kontrollierten Generierung mehrerer Subjekte vor, XVerse. Durch die Umwandlung von Referenzbildern in Offsets für die tokenspezifische Modulation des Textstroms ermöglicht XVerse eine präzise und unabhängige Steuerung spezifischer Subjekte, ohne Bildlatenten oder -merkmale zu stören. Folglich bietet XVerse eine hochwertige, bearbeitbare Synthese von Bildern mit mehreren Subjekten und eine robuste Kontrolle über individuelle Subjektmerkmale und semantische Attribute. Dieser Fortschritt verbessert die Fähigkeiten zur personalisierten und komplexen Szenengenerierung erheblich.

English

Achieving fine-grained control over subject identity and semantic attributes (pose, style, lighting) in text-to-image generation, particularly for multiple subjects, often undermines the editability and coherence of Diffusion Transformers (DiTs). Many approaches introduce artifacts or suffer from attribute entanglement. To overcome these challenges, we propose a novel multi-subject controlled generation model XVerse. By transforming reference images into offsets for token-specific text-stream modulation, XVerse allows for precise and independent control for specific subject without disrupting image latents or features. Consequently, XVerse offers high-fidelity, editable multi-subject image synthesis with robust control over individual subject characteristics and semantic attributes. This advancement significantly improves personalized and complex scene generation capabilities.