UniPortrait: Un Framework Unificato per la Personalizzazione di Immagini di Singoli e Multipli Individui con Conservazione dell'Identità
UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization
August 12, 2024
Autori: Junjie He, Yifeng Geng, Liefeng Bo
cs.AI
Abstract
Questo articolo presenta UniPortrait, un innovativo framework di personalizzazione delle immagini umane che unisce la personalizzazione a singolo e multi-ID con alta fedeltà facciale, ampia editabilità del volto, descrizione di input in forma libera e generazione di layout diversificati. UniPortrait è composto da soli due moduli plug-and-play: un modulo di embedding ID e un modulo di routing ID. Il modulo di embedding ID estrae caratteristiche facciali versatile e modificabili utilizzando una strategia di disaccoppiamento per ciascun ID e le incorpora nello spazio contestuale dei modelli di diffusione. Il modulo di routing ID combina e distribuisce quindi questi embedding in modo adattivo alle rispettive regioni all'interno dell'immagine sintetizzata, ottenendo la personalizzazione di singoli e multipli ID. Con uno schema di addestramento a due fasi accuratamente progettato, UniPortrait raggiunge prestazioni superiori sia nella personalizzazione a singolo che a multi-ID. Esperimenti quantitativi e qualitativi dimostrano i vantaggi del nostro metodo rispetto agli approcci esistenti, nonché la sua buona scalabilità, ad esempio la compatibilità universale con gli strumenti di controllo generativo esistenti. La pagina del progetto è disponibile all'indirizzo https://aigcdesigngroup.github.io/UniPortrait-Page/.
English
This paper presents UniPortrait, an innovative human image personalization
framework that unifies single- and multi-ID customization with high face
fidelity, extensive facial editability, free-form input description, and
diverse layout generation. UniPortrait consists of only two plug-and-play
modules: an ID embedding module and an ID routing module. The ID embedding
module extracts versatile editable facial features with a decoupling strategy
for each ID and embeds them into the context space of diffusion models. The ID
routing module then combines and distributes these embeddings adaptively to
their respective regions within the synthesized image, achieving the
customization of single and multiple IDs. With a carefully designed two-stage
training scheme, UniPortrait achieves superior performance in both single- and
multi-ID customization. Quantitative and qualitative experiments demonstrate
the advantages of our method over existing approaches as well as its good
scalability, e.g., the universal compatibility with existing generative control
tools. The project page is at
https://aigcdesigngroup.github.io/UniPortrait-Page/ .