UniPortrait: Ein einheitlicher Rahmen für die personalisierte Darstellung von Einzel- und Mehrpersonenbildern unter Wahrung der Identität.

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

Autoren: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

Zusammenfassung

Dieses Paper präsentiert UniPortrait, ein innovatives Framework zur Personalisierung von menschlichen Bildern, das die Einzel- und Mehrfach-ID-Anpassung mit hoher Gesichtstreue, umfangreicher Gesichtseditierbarkeit, freiform Eingabebeschreibung und vielfältiger Layoutgenerierung vereint. UniPortrait besteht nur aus zwei Plug-and-Play-Modulen: einem ID-Einbettungsmodul und einem ID-Routing-Modul. Das ID-Einbettungsmodul extrahiert vielseitig editierbare Gesichtsmerkmale mit einer Entkopplungsstrategie für jede ID und bettet sie in den Kontextraum von Diffusionsmodellen ein. Das ID-Routing-Modul kombiniert und verteilt dann diese Einbettungen adaptiv auf ihre jeweiligen Regionen innerhalb des synthetisierten Bildes, um die Anpassung von Einzel- und mehreren IDs zu erreichen. Mit einem sorgfältig gestalteten zweistufigen Schulungsschema erzielt UniPortrait eine überlegene Leistung sowohl bei der Einzel- als auch bei der Mehrfach-ID-Anpassung. Quantitative und qualitative Experimente zeigen die Vorteile unserer Methode gegenüber bestehenden Ansätzen sowie ihre gute Skalierbarkeit, z.B. die universelle Kompatibilität mit vorhandenen generativen Steuerungswerkzeugen. Die Projektseite befindet sich unter https://aigcdesigngroup.github.io/UniPortrait-Page/.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .