UniPortrait: Een Uniform Framework voor Identiteit-Bewarende Personalisatie van Afbeeldingen met Enkele en Meerdere Personen
UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization
August 12, 2024
Auteurs: Junjie He, Yifeng Geng, Liefeng Bo
cs.AI
Samenvatting
Dit artikel presenteert UniPortrait, een innovatief raamwerk voor personalisatie van menselijke afbeeldingen dat enkelvoudige en meervoudige ID-aanpassing verenigt met hoge gezichtsfideliteit, uitgebreide gezichtsbewerkbaarheid, vrije invoerbeschrijving en diverse lay-outgeneratie. UniPortrait bestaat uit slechts twee plug-and-play modules: een ID-embeddingmodule en een ID-routeringsmodule. De ID-embeddingmodule extraheert veelzijdige bewerkbare gezichtskenmerken met een ontkoppelingsstrategie voor elke ID en integreert deze in de contextruimte van diffusiemodellen. De ID-routeringsmodule combineert en verdeelt deze embeddings vervolgens adaptief naar hun respectieve regio's binnen de gesynthetiseerde afbeelding, waardoor de aanpassing van enkelvoudige en meervoudige ID's wordt bereikt. Met een zorgvuldig ontworpen tweefasen trainingsschema behaalt UniPortrait superieure prestaties in zowel enkelvoudige als meervoudige ID-aanpassing. Kwantitatieve en kwalitatieve experimenten demonstreren de voordelen van onze methode ten opzichte van bestaande benaderingen, evenals de goede schaalbaarheid, zoals de universele compatibiliteit met bestaande generatieve controle-instrumenten. De projectpagina is te vinden op https://aigcdesigngroup.github.io/UniPortrait-Page/.
English
This paper presents UniPortrait, an innovative human image personalization
framework that unifies single- and multi-ID customization with high face
fidelity, extensive facial editability, free-form input description, and
diverse layout generation. UniPortrait consists of only two plug-and-play
modules: an ID embedding module and an ID routing module. The ID embedding
module extracts versatile editable facial features with a decoupling strategy
for each ID and embeds them into the context space of diffusion models. The ID
routing module then combines and distributes these embeddings adaptively to
their respective regions within the synthesized image, achieving the
customization of single and multiple IDs. With a carefully designed two-stage
training scheme, UniPortrait achieves superior performance in both single- and
multi-ID customization. Quantitative and qualitative experiments demonstrate
the advantages of our method over existing approaches as well as its good
scalability, e.g., the universal compatibility with existing generative control
tools. The project page is at
https://aigcdesigngroup.github.io/UniPortrait-Page/ .