IDAdapter: Het leren van gemengde kenmerken voor afstemmingsvrije personalisatie van tekst-naar-beeldmodellen

IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models

March 20, 2024

Auteurs: Siying Cui, Jiankang Deng, Jia Guo, Xiang An, Yongle Zhao, Xinyu Wei, Ziyong Feng

cs.AI

Samenvatting

Het gebruik van Stable Diffusion voor het genereren van gepersonaliseerde portretten is naar voren gekomen als een krachtig en opmerkelijk hulpmiddel, waarmee gebruikers hoogwaardige, op maat gemaakte karakteravatars kunnen creëren op basis van hun specifieke prompts. Bestaande personalisatiemethoden kampen echter met uitdagingen, waaronder fine-tuning tijdens het testen, de vereiste van meerdere invoerafbeeldingen, een lage behoud van identiteit en beperkte diversiteit in de gegenereerde resultaten. Om deze uitdagingen te overwinnen, introduceren we IDAdapter, een aanpak zonder fine-tuning die de diversiteit en het behoud van identiteit in gepersonaliseerde beeldgeneratie vanuit een enkele gezichtsafbeelding verbetert. IDAdapter integreert een gepersonaliseerd concept in het generatieproces door een combinatie van tekstuele en visuele injecties en een gezichtsidentiteitsverlies. Tijdens de trainingsfase nemen we gemengde kenmerken van meerdere referentieafbeeldingen van een specifieke identiteit op om de details van identiteitsgerelateerde inhoud te verrijken, waardoor het model wordt geleid om afbeeldingen te genereren met meer diverse stijlen, uitdrukkingen en hoeken in vergelijking met eerdere werken. Uitgebreide evaluaties tonen de effectiviteit van onze methode aan, waarbij zowel diversiteit als identiteitsgetrouwheid in de gegenereerde afbeeldingen worden bereikt.

English

Leveraging Stable Diffusion for the generation of personalized portraits has emerged as a powerful and noteworthy tool, enabling users to create high-fidelity, custom character avatars based on their specific prompts. However, existing personalization methods face challenges, including test-time fine-tuning, the requirement of multiple input images, low preservation of identity, and limited diversity in generated outcomes. To overcome these challenges, we introduce IDAdapter, a tuning-free approach that enhances the diversity and identity preservation in personalized image generation from a single face image. IDAdapter integrates a personalized concept into the generation process through a combination of textual and visual injections and a face identity loss. During the training phase, we incorporate mixed features from multiple reference images of a specific identity to enrich identity-related content details, guiding the model to generate images with more diverse styles, expressions, and angles compared to previous works. Extensive evaluations demonstrate the effectiveness of our method, achieving both diversity and identity fidelity in generated images.