XVerse: Согласованное управление идентичностью и семантическими атрибутами для множества объектов через модуляцию DiT

XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation

June 26, 2025

Авторы: Bowen Chen, Mengyi Zhao, Haomiao Sun, Li Chen, Xu Wang, Kang Du, Xinglong Wu

cs.AI

Аннотация

Достижение точного контроля над идентичностью объекта и семантическими атрибутами (поза, стиль, освещение) в генерации изображений из текста, особенно для нескольких объектов, часто снижает редактируемость и согласованность моделей Diffusion Transformers (DiTs). Многие подходы приводят к появлению артефактов или страдают от переплетения атрибутов. Для преодоления этих проблем мы предлагаем новую модель управляемой генерации для нескольких объектов — XVerse. Преобразуя эталонные изображения в смещения для модуляции текстового потока, специфичного для токенов, XVerse позволяет осуществлять точный и независимый контроль над конкретным объектом, не нарушая латентные представления или признаки изображения. В результате XVerse обеспечивает синтез изображений с высокой точностью и возможностью редактирования для нескольких объектов, с надежным контролем над индивидуальными характеристиками и семантическими атрибутами каждого объекта. Это достижение значительно улучшает возможности персонализированной и сложной генерации сцен.

English

Achieving fine-grained control over subject identity and semantic attributes (pose, style, lighting) in text-to-image generation, particularly for multiple subjects, often undermines the editability and coherence of Diffusion Transformers (DiTs). Many approaches introduce artifacts or suffer from attribute entanglement. To overcome these challenges, we propose a novel multi-subject controlled generation model XVerse. By transforming reference images into offsets for token-specific text-stream modulation, XVerse allows for precise and independent control for specific subject without disrupting image latents or features. Consequently, XVerse offers high-fidelity, editable multi-subject image synthesis with robust control over individual subject characteristics and semantic attributes. This advancement significantly improves personalized and complex scene generation capabilities.