Infinite-ID: Identiteit-behoudende Personalisatie via een ID-semantiek Ontkoppelingsparadigma

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

Auteurs: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

Samenvatting

Gebruikmakend van recente vooruitgang in diffusiemodellen voor tekst-naar-beeldgeneratie, heeft identiteitsbehoudende personalisatie aanzienlijke vooruitgang geboekt in het nauwkeurig vastleggen van specifieke identiteiten met slechts één referentiebeeld. Bestaande methoden integreren echter voornamelijk referentiebeelden binnen de tekstembeddingruimte, wat leidt tot een complexe verstrengeling van beeld- en tekstinformatie, wat uitdagingen oplevert voor het behoud van zowel identiteitsgetrouwheid als semantische consistentie. Om deze uitdaging aan te pakken, stellen we Infinite-ID voor, een ID-semantiek-ontkoppelingsparadigma voor identiteitsbehoudende personalisatie. Specifiek introduceren we identiteitsversterkte training, waarbij een extra beeldkruisattentiemodule wordt opgenomen om voldoende ID-informatie vast te leggen, terwijl de oorspronkelijke tekstkruisattentiemodule van het diffusiemodel wordt gedeactiveerd. Dit zorgt ervoor dat de beeldstroom de identiteit van het referentiebeeld getrouw weergeeft, terwijl interferentie van tekstuele input wordt geminimaliseerd. Daarnaast introduceren we een functie-interactiemechanisme dat een gemengde attentiemodule combineert met een AdaIN-gemiddeldebewerking om de twee stromen naadloos te integreren. Dit mechanisme verbetert niet alleen de getrouwheid van identiteit en semantische consistentie, maar maakt ook een handige controle over de stijlen van de gegenereerde beelden mogelijk. Uitgebreide experimentele resultaten voor zowel de generatie van ruwe foto's als stijlbeeldgeneratie demonstreren de superieure prestaties van onze voorgestelde methode.

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.