Infinite-ID: Identitätserhaltende Personalisierung über ID-Semantik Entkopplungsparadigma

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

papers.authors: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

papers.abstract

Durch die Nutzung aktueller Fortschritte in Diffusionsmodellen für die Text-zu-Bild-Erzeugung hat die identitätserhaltende Personalisierung signifikante Fortschritte gemacht, um spezifische Identitäten genau mit nur einem Referenzbild zu erfassen. Allerdings integrieren bestehende Methoden hauptsächlich Referenzbilder im Text-Einbettungsraum, was zu einer komplexen Verflechtung von Bild- und Textinformationen führt und Herausforderungen bei der Erhaltung sowohl der Identitätsfidelität als auch der semantischen Konsistenz darstellt. Um diese Herausforderung anzugehen, schlagen wir Infinite-ID vor, ein ID-Semantik-Entkopplungsparadigma für die identitätserhaltende Personalisierung. Speziell führen wir identitätsverstärkendes Training ein, indem wir ein zusätzliches Bild-Kreuz-Aufmerksamkeitsmodul einführen, um ausreichende ID-Informationen zu erfassen, während wir das ursprüngliche Text-Kreuz-Aufmerksamkeitsmodul des Diffusionsmodells deaktivieren. Dies stellt sicher, dass der Bildstrom die Identität, die durch das Referenzbild bereitgestellt wird, treu darstellt, während Störungen durch den textuellen Input gemindert werden. Zusätzlich führen wir einen Merkmalsinteraktionsmechanismus ein, der ein gemischtes Aufmerksamkeitsmodul mit einer AdaIN-Mitteloperation kombiniert, um die beiden Ströme nahtlos zu vereinen. Dieser Mechanismus verbessert nicht nur die Fidelität der Identität und semantischen Konsistenz, sondern ermöglicht auch eine bequeme Kontrolle über die Stile der generierten Bilder. Umfangreiche experimentelle Ergebnisse sowohl zur Erzeugung von Rohfotos als auch zur Stilerzeugung von Bildern zeigen die überragende Leistung unserer vorgeschlagenen Methode.

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.