UniPortrait：アイデンティティ保存型の単一および複数人物画像パーソナライゼーションのための統一フレームワーク

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

著者: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

要旨

本論文では、UniPortraitという革新的な人物画像パーソナライゼーションフレームワークを提案する。UniPortraitは、単一IDと複数IDのカスタマイズを統合し、高い顔の忠実度、広範な顔編集性、自由形式の入力記述、多様なレイアウト生成を実現する。UniPortraitは、ID埋め込みモジュールとIDルーティングモジュールという2つのプラグアンドプレイモジュールのみで構成されている。ID埋め込みモジュールは、各IDに対してデカップリング戦略を用いて多様な編集可能な顔特徴を抽出し、それらを拡散モデルのコンテキスト空間に埋め込む。IDルーティングモジュールは、これらの埋め込みを適応的に結合し、合成画像内のそれぞれの領域に分配することで、単一および複数IDのカスタマイズを実現する。慎重に設計された2段階のトレーニングスキームにより、UniPortraitは単一IDおよび複数IDのカスタマイズにおいて優れた性能を発揮する。定量的および定性的な実験により、本手法が既存のアプローチに対する優位性と、既存の生成制御ツールとの普遍的な互換性など、良好な拡張性を有していることが示された。プロジェクトページはhttps://aigcdesigngroup.github.io/UniPortrait-Page/ にある。

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .