MirrorPPR: Exemplaargebaseerde Portretfotoretouchering

Samenvatting

Hoewel tekstgestuurde beeldbewerking opmerkelijke vooruitgang heeft geboekt, blijft deze beperkt in structurele portretretouche. Tekstuele beschrijvingen kunnen fijnmazige wijzigingen aan gelaatstrekken en lichaamsverhoudingen niet goed overbrengen. Om deze lacune aan te pakken, introduceren we op exemplaren gebaseerde portretfotoretouche, waarbij het model een exemplaarpaar krijgt en de taak heeft dezelfde retouche-bewerkingen af te leiden en toe te passen op een nieuwe query-afbeelding. Bestaande op exemplaren gebaseerde bewerkingsmethoden richten zich voornamelijk op taken met uitgesproken visuele transformaties. Daarentegen omvat structurele portretretouche uiterst delicate en gelokaliseerde modificaties, waardoor het nauwkeurig extraheren en overdragen van deze bewerkingen uitdagend is. Om dit aan te pakken, stellen we MirrorPPR voor, een nieuw raamwerk dat is ontworpen om subtiele structurele retouche-bewerkingen vast te leggen en over te dragen. Onze methode gebruikt een Retouching Operation Extractor om de subtiele verschillen uit het exemplaarpaar te extraheren. De geëxtraheerde representaties worden vervolgens via een connector en Low-Rank Adaptation (LoRA)-modules geïnjecteerd in een voorgetrainde Diffusion Transformer (DiT). Bovendien wordt het construeren van perfect uitgelijnde cross-identiteit trainingsparen ernstig belemmerd door operationele misalignering. Om dit te overwinnen, stellen we een geavanceerd data-zelfaugmentatieparadigma voor dat strikt uitgelijnde retouche-bewerkingen waarborgt. Om dataschaarste te verlichten en deze nieuwe taak te ondersteunen, introduceren we MirrorPPR47M, een grootschalige dataset met meer dan 47 miljoen geretoucheerde paren. Door de dataset te structureren in gesimuleerde en professionele subsets, stellen we progressief curriculumleren in staat om het netwerk soepel te optimaliseren. Uitgebreide experimenten tonen aan dat MirrorPPR aanzienlijk beter presteert dan bestaande basislijnen, zowel in retouchekwaliteit als in identiteitsbehoud. De projectpagina is beschikbaar op https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.