UniPortrait: Un marco unificado para la personalización de imágenes de una o varias personas preservando la identidad.

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

Autores: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

Resumen

Este documento presenta UniPortrait, un innovador marco de personalización de imágenes humanas que unifica la personalización de identificaciones única y múltiple con alta fidelidad facial, amplia capacidad de edición facial, descripción de entrada de forma libre y generación de diseños diversos. UniPortrait consta de solo dos módulos plug-and-play: un módulo de incrustación de ID y un módulo de enrutamiento de ID. El módulo de incrustación de ID extrae características faciales editables versátiles con una estrategia de desacoplamiento para cada ID y las incrusta en el espacio de contexto de los modelos de difusión. El módulo de enrutamiento de ID luego combina y distribuye estas incrustaciones de manera adaptativa a sus respectivas regiones dentro de la imagen sintetizada, logrando la personalización de identificaciones única y múltiple. Con un esquema de entrenamiento de dos etapas cuidadosamente diseñado, UniPortrait logra un rendimiento superior tanto en la personalización de identificaciones única como múltiple. Experimentos cuantitativos y cualitativos demuestran las ventajas de nuestro método sobre enfoques existentes, así como su buena escalabilidad, por ejemplo, la compatibilidad universal con herramientas de control generativo existentes. La página del proyecto se encuentra en https://aigcdesigngroup.github.io/UniPortrait-Page/.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .