MOSAIC: Multifach-Personalisierte Generierung durch Korrespondenzbewusste Ausrichtung und Entflechtung

MOSAIC: Multi-Subject Personalized Generation via Correspondence-Aware Alignment and Disentanglement

September 2, 2025

papers.authors: Dong She, Siming Fu, Mushui Liu, Qiaoqiao Jin, Hualiang Wang, Mu Liu, Jidong Jiang

cs.AI

papers.abstract

Die personalisierte Generierung von Multi-Subjekten stellt einzigartige Herausforderungen dar, insbesondere in Bezug auf die Wahrung der Identitätstreue und semantischen Kohärenz bei der Synthese von Bildern, die auf mehrere Referenzsubjekte konditioniert sind. Bestehende Methoden leiden häufig unter Identitätsvermischung und Attributdurchlässigkeit, da die Interaktion verschiedener Subjekte in gemeinsamen Repräsentationsräumen unzureichend modelliert wird. Wir präsentieren MOSAIC, ein repräsentationszentriertes Framework, das die Multi-Subjekt-Generierung durch explizite semantische Korrespondenz und orthogonale Merkmalsentflechtung neu denkt. Unsere zentrale Erkenntnis ist, dass die Multi-Subjekt-Generierung eine präzise semantische Ausrichtung auf Repräsentationsebene erfordert – das exakte Wissen darüber, welche Regionen im generierten Bild auf welche Teile jedes Referenzsubjekts ausgerichtet sein sollten. Um dies zu ermöglichen, führen wir SemAlign-MS ein, einen sorgfältig annotierten Datensatz, der feinkörnige semantische Korrespondenzen zwischen mehreren Referenzsubjekten und Zielbildern bereitstellt, die bisher in diesem Bereich nicht verfügbar waren. Auf dieser Grundlage schlagen wir den semantischen Korrespondenz-Aufmerksamkeitsverlust vor, um eine präzise punkt-zu-punkt semantische Ausrichtung zu erzwingen und eine hohe Konsistenz von jeder Referenz zu ihren zugewiesenen Regionen sicherzustellen. Darüber hinaus entwickeln wir den Multi-Referenz-Entflechtungsverlust, um verschiedene Subjekte in orthogonale Aufmerksamkeitsunterräume zu drängen, wodurch Merkmalsinterferenzen verhindert werden, während individuelle Identitätsmerkmale erhalten bleiben. Umfangreiche Experimente zeigen, dass MOSAIC auf mehreren Benchmarks state-of-the-art Leistungen erzielt. Bemerkenswert ist, dass MOSAIC bei 4+ Referenzsubjekten eine hohe Treue bewahrt, während bestehende Methoden typischerweise bei mehr als 3 Subjekten an Qualität verlieren. Dies eröffnet neue Möglichkeiten für komplexe Multi-Subjekt-Syntheseanwendungen.

English

Multi-subject personalized generation presents unique challenges in maintaining identity fidelity and semantic coherence when synthesizing images conditioned on multiple reference subjects. Existing methods often suffer from identity blending and attribute leakage due to inadequate modeling of how different subjects should interact within shared representation spaces. We present MOSAIC, a representation-centric framework that rethinks multi-subject generation through explicit semantic correspondence and orthogonal feature disentanglement. Our key insight is that multi-subject generation requires precise semantic alignment at the representation level - knowing exactly which regions in the generated image should attend to which parts of each reference. To enable this, we introduce SemAlign-MS, a meticulously annotated dataset providing fine-grained semantic correspondences between multiple reference subjects and target images, previously unavailable in this domain. Building on this foundation, we propose the semantic correspondence attention loss to enforce precise point-to-point semantic alignment, ensuring high consistency from each reference to its designated regions. Furthermore, we develop the multi-reference disentanglement loss to push different subjects into orthogonal attention subspaces, preventing feature interference while preserving individual identity characteristics. Extensive experiments demonstrate that MOSAIC achieves state-of-the-art performance on multiple benchmarks. Notably, while existing methods typically degrade beyond 3 subjects, MOSAIC maintains high fidelity with 4+ reference subjects, opening new possibilities for complex multi-subject synthesis applications.