Infinite-ID: Personalização com Preservação de Identidade através do Paradigma de Desacoplamento de Semântica de ID

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

Autores: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

Resumo

Com base nos recentes avanços em modelos de difusão para geração de imagens a partir de texto, a personalização com preservação de identidade tem feito progressos significativos na captura precisa de identidades específicas com apenas uma única imagem de referência. No entanto, os métodos existentes integram principalmente as imagens de referência no espaço de incorporação de texto, resultando em um emaranhado complexo de informações de imagem e texto, o que apresenta desafios para preservar tanto a fidelidade da identidade quanto a consistência semântica. Para enfrentar esse desafio, propomos o Infinite-ID, um paradigma de desacoplamento ID-semântica para personalização com preservação de identidade. Especificamente, introduzimos um treinamento aprimorado de identidade, incorporando um módulo adicional de atenção cruzada de imagem para capturar informações suficientes de ID, enquanto desativamos o módulo original de atenção cruzada de texto do modelo de difusão. Isso garante que o fluxo de imagem represente fielmente a identidade fornecida pela imagem de referência, ao mesmo tempo em que mitiga a interferência da entrada textual. Além disso, introduzimos um mecanismo de interação de características que combina um módulo de atenção mista com uma operação AdaIN-média para fundir de forma contínua os dois fluxos. Esse mecanismo não apenas melhora a fidelidade da identidade e a consistência semântica, mas também permite um controle conveniente sobre os estilos das imagens geradas. Resultados experimentais extensivos tanto na geração de fotos brutas quanto na geração de imagens estilizadas demonstram o desempenho superior do nosso método proposto.

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.