UniPortrait : Un cadre unifié pour la personnalisation d'images individuelles et multiples tout en préservant l'identité

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

Auteurs: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

Résumé

Cet article présente UniPortrait, un cadre innovant de personnalisation d'images humaines qui unifie la personnalisation mono-ID et multi-ID avec une haute fidélité faciale, une grande éditabilité des visages, des descriptions d'entrée libres et une génération de mises en page diversifiées. UniPortrait se compose de seulement deux modules plug-and-play : un module d'embedding d'ID et un module de routage d'ID. Le module d'embedding d'ID extrait des caractéristiques faciales éditables polyvalentes grâce à une stratégie de découplage pour chaque ID et les intègre dans l'espace contextuel des modèles de diffusion. Le module de routage d'ID combine ensuite et distribue de manière adaptative ces embeddings dans leurs régions respectives au sein de l'image synthétisée, permettant ainsi la personnalisation d'un ou plusieurs ID. Grâce à un schéma d'apprentissage en deux étapes soigneusement conçu, UniPortrait obtient des performances supérieures dans les personnalisations mono-ID et multi-ID. Des expériences quantitatives et qualitatives démontrent les avantages de notre méthode par rapport aux approches existantes ainsi que sa bonne évolutivité, par exemple, sa compatibilité universelle avec les outils de contrôle génératif existants. La page du projet est disponible à l'adresse suivante : https://aigcdesigngroup.github.io/UniPortrait-Page/.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .