UniPortrait: Объединенная структура для персонализации изображений одного или нескольких людей с сохранением их идентичности.

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

Авторы: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

Аннотация

Этот документ представляет UniPortrait, инновационную фреймворк персонализации изображений людей, объединяющую настройку одного и нескольких идентификаторов с высокой точностью лица, обширной редактируемостью лица, описанием свободной формы ввода и разнообразной генерацией макетов. UniPortrait состоит всего из двух модулей "подключи и используй": модуля встраивания идентификатора и модуля маршрутизации идентификатора. Модуль встраивания идентификатора извлекает универсальные редактируемые черты лица с стратегией разделения для каждого идентификатора и встраивает их в контекстное пространство моделей диффузии. Затем модуль маршрутизации идентификатора комбинирует и распределяет эти встраивания адаптивно в соответствующие области в синтезированном изображении, достигая настройки одного и нескольких идентификаторов. Благодаря тщательно разработанной двухэтапной схеме обучения UniPortrait достигает превосходных результатов как в настройке одного, так и нескольких идентификаторов. Количественные и качественные эксперименты демонстрируют преимущества нашего метода перед существующими подходами, а также его хорошую масштабируемость, например, универсальную совместимость с существующими инструментами управления генерацией. Страница проекта находится по адресу https://aigcdesigngroup.github.io/UniPortrait-Page/.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .