MirrorPPR: 예시 기반 초상 사진 리터칭

초록

텍스트 유도 이미지 편집은 놀라운 발전을 이루었지만, 구조적 인물 사진 보정(structural portrait retouching)에는 여전히 한계가 있습니다. 텍스트 설명만으로는 얼굴 특징과 신체 비율에 대한 미세한 변화를 전달하기 어렵습니다. 이러한 격차를 해소하기 위해, 본 논문은 예시 기반 인물 사진 보정(Exemplar-Based Portrait Photo Retouching)을 도입합니다. 이 방법에서는 모델이 예시 쌍(exemplar pair)을 제공받고, 동일한 보정 작업을 새로운 질의 이미지(query image)에 추론 및 적용하는 과제를 수행합니다. 기존의 예시 기반 편집 방법은 주로 뚜렷한 시각적 변환이 있는 작업에 초점을 맞춥니다. 반면, 구조적 인물 사진 보정은 매우 섬세하고 국소적인 수정을 수반하므로, 이러한 편집을 정확하게 추출하고 전이하는 것이 어렵습니다. 이를 해결하기 위해, 본 연구는 미묘한 구조적 보정 작업을 포착하고 전이하도록 설계된 새로운 프레임워크인 MirrorPPR을 제안합니다. 본 방법은 보정 작업 추출기(Retouching Operation Extractor)를 사용하여 예시 쌍 간의 미세한 차이를 포착합니다. 추출된 표현은 커넥터(connector)와 Low-Rank Adaptation(LoRA) 모듈을 통해 사전 학습된 확산 변환기(Diffusion Transformer, DiT)에 주입됩니다. 또한, 완벽하게 정렬된 교차 동일인(cross-identity) 훈련 쌍을 구성하는 것은 작업 정렬(operation misalignment) 문제로 인해 심각한 제약을 받습니다. 이를 극복하기 위해, 엄격하게 정렬된 보정 작업을 보장하는 고급 데이터 자가 증강 패러다임(advanced data self-augmentation paradigm)을 제안합니다. 데이터 부족 문제를 완화하고 이 새로운 작업을 지원하기 위해, 4,700만 개 이상의 보정 쌍으로 구성된 대규모 데이터셋인 MirrorPPR47M을 소개합니다. 데이터셋을 시뮬레이션(simulated) 및 전문가(professional) 하위 집합으로 구조화하여 점진적 커리큘럼 학습(progressive curriculum learning)을 통해 네트워크를 원활하게 최적화할 수 있도록 합니다. 광범위한 실험 결과, MirrorPPR이 보정 품질과 정체성 보존(identity preservation) 측면에서 기존 기준선들을 크게 능가함을 입증했습니다. 프로젝트 페이지는 https://sjtu-deng-lab.github.io/MirrorPPR에서 확인할 수 있습니다.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.