Infinite-ID: Personalizzazione con preservazione dell'identità attraverso il paradigma di disaccoppiamento semantico dell'ID

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

Autori: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

Abstract

Basandosi sui recenti progressi nei modelli di diffusione per la generazione di immagini da testo, la personalizzazione con preservazione dell'identità ha compiuto significativi passi avanti nel catturare accuratamente identità specifiche utilizzando una sola immagine di riferimento. Tuttavia, i metodi esistenti integrano principalmente le immagini di riferimento all'interno dello spazio di embedding del testo, portando a un complesso intreccio di informazioni visive e testuali, che pone sfide nel preservare sia la fedeltà dell'identità che la coerenza semantica. Per affrontare questa sfida, proponiamo Infinite-ID, un paradigma di disaccoppiamento ID-semantica per la personalizzazione con preservazione dell'identità. Nello specifico, introduciamo un addestramento potenziato per l'identità, incorporando un modulo aggiuntivo di cross-attention per le immagini per catturare sufficienti informazioni sull'ID, disattivando contemporaneamente il modulo originale di cross-attention per il testo del modello di diffusione. Ciò garantisce che il flusso delle immagini rappresenti fedelmente l'identità fornita dall'immagine di riferimento, mitigando al contempo le interferenze dall'input testuale. Inoltre, introduciamo un meccanismo di interazione delle feature che combina un modulo di attenzione mista con un'operazione AdaIN-mean per fondere in modo fluido i due flussi. Questo meccanismo non solo migliora la fedeltà dell'identità e la coerenza semantica, ma consente anche un controllo agevole sugli stili delle immagini generate. I risultati sperimentali estesi, sia nella generazione di foto grezze che di immagini stilizzate, dimostrano la superiorità delle prestazioni del nostro metodo proposto.

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.