Бесконечный-ID: персонализация с сохранением идентичности через семантику идентификатора Парадигма декуплирования

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

Авторы: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

Аннотация

Основываясь на последних достижениях в моделях диффузии для генерации текста в изображение, персонализация с сохранением идентичности сделала значительный прогресс в точном воспроизведении конкретных идентичностей с помощью всего одного исходного изображения. Однако существующие методы в основном интегрируют исходные изображения в пределах пространства встраивания текста, что приводит к сложному переплетению информации об изображении и тексте, что создает проблемы для сохранения как верности идентичности, так и семантической последовательности. Для решения этой проблемы мы предлагаем Infinite-ID, парадигму декуплирования идентификаторов и семантики для персонализации с сохранением идентичности. Конкретно, мы вводим улучшенное обучение идентификаторов, включая дополнительный модуль кросс-внимания к изображению для захвата достаточной информации об идентификаторе, отключая при этом исходный модуль кросс-внимания к тексту модели диффузии. Это гарантирует, что поток изображения точно представляет идентичность, предоставленную исходным изображением, минимизируя при этом вмешательство текстового ввода. Кроме того, мы вводим механизм взаимодействия функций, который объединяет смешанный модуль внимания с операцией AdaIN-mean для плавного слияния двух потоков. Этот механизм не только улучшает верность идентичности и семантическую последовательность, но также обеспечивает удобное управление стилями сгенерированных изображений. Обширные экспериментальные результаты как по генерации сырых фотографий, так и по генерации стилей изображений демонстрируют превосходную производительность нашего предложенного метода.

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.