UniRetrato: Um Framework Unificado para Personalização de Imagens de Única e Múltiplas Pessoas Preservando a Identidade

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

Autores: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

Resumo

Este artigo apresenta o UniPortrait, um inovador framework de personalização de imagens humanas que unifica a personalização de identificação única e múltipla com alta fidelidade facial, ampla capacidade de edição facial, descrição de entrada em formato livre e geração de layout diversificada. O UniPortrait é composto por apenas dois módulos plug-and-play: um módulo de incorporação de identificação e um módulo de roteamento de identificação. O módulo de incorporação de identificação extrai características faciais editáveis versáteis com uma estratégia de desacoplamento para cada identificação e as incorpora no espaço de contexto de modelos de difusão. O módulo de roteamento de identificação combina e distribui essas incorporações de forma adaptativa para suas respectivas regiões dentro da imagem sintetizada, alcançando a personalização de identificações única e múltipla. Com um esquema de treinamento em duas etapas cuidadosamente projetado, o UniPortrait alcança um desempenho superior tanto na personalização de identificação única quanto múltipla. Experimentos quantitativos e qualitativos demonstram as vantagens do nosso método em relação às abordagens existentes, bem como sua boa escalabilidade, por exemplo, a compatibilidade universal com ferramentas de controle generativo existentes. A página do projeto está em https://aigcdesigngroup.github.io/UniPortrait-Page/.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .