UniPortrait: 싱글 및 다중 인간 이미지 개인화를 위한 신원 보존 통합 프레임워크

UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

August 12, 2024

저자: Junjie He, Yifeng Geng, Liefeng Bo

cs.AI

초록

본 논문은 고양화된 인간 이미지 개인화를 위한 혁신적인 프레임워크인 UniPortrait을 제시합니다. 이 프레임워크는 고 페이스 유사성, 다양한 얼굴 편집 가능성, 자유로운 형식의 입력 설명, 그리고 다양한 레이아웃 생성을 통합하는데 있습니다. UniPortrait은 두 개의 플러그 앤 플레이 모듈로 구성되어 있습니다: ID 임베딩 모듈과 ID 라우팅 모듈입니다. ID 임베딩 모듈은 각 ID에 대해 분리 전략을 사용하여 다양하고 편집 가능한 얼굴 특징을 추출하고 이를 확산 모델의 컨텍스트 공간에 임베딩합니다. 그런 다음 ID 라우팅 모듈은 이러한 임베딩을 조합하고 적응적으로 합성된 이미지 내에서 각각의 영역에 분배하여 단일 및 다중 ID의 개인화를 달성합니다. 정교하게 설계된 두 단계의 훈련 체계를 통해 UniPortrait은 단일 및 다중 ID 개인화 모두에서 우수한 성능을 달성합니다. 양적 및 질적 실험을 통해 우리의 방법이 기존 접근 방식보다 우위를 보이며, 기존 생성 제어 도구와의 보편적 호환성과 같은 좋은 확장성을 입증합니다. 프로젝트 페이지는 https://aigcdesigngroup.github.io/UniPortrait-Page/ 에서 확인할 수 있습니다.

English

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .