MirrorPPR : Retouche de portrait photo basée sur des exemples

Résumé

Bien que l'édition d'images guidée par du texte ait réalisé des progrès remarquables, elle reste limitée dans le domaine de la retouche structurelle des portraits. Les descriptions textuelles peinent à transmettre des modifications fines des traits du visage et des proportions corporelles. Pour combler cette lacune, nous introduisons la retouche photographique de portrait basée sur des exemples (Exemplar-Based Portrait Photo Retouching), où le modèle reçoit une paire d'exemples et doit inférer et appliquer les mêmes opérations de retouche à une nouvelle image requête. Les méthodes existantes d'édition basée sur des exemples se concentrent principalement sur des tâches présentant des transformations visuelles prononcées. En revanche, la retouche structurelle de portrait implique des modifications extrêmement délicates et localisées, rendant difficile l'extraction et le transfert précis de ces modifications. Pour y remédier, nous proposons MirrorPPR, un nouveau cadre conçu pour capturer et transférer des opérations de retouche structurelle subtiles. Notre méthode utilise un extracteur d'opérations de retouche (Retouching Operation Extractor) pour capturer les différences subtiles entre la paire d'exemples. Les représentations extraites sont ensuite injectées dans un Transformateur de Diffusion (Diffusion Transformer, DiT) pré-entraîné via un connecteur et des modules d'adaptation de bas rang (Low-Rank Adaptation, LoRA). De plus, la construction de paires d'entraînement parfaitement alignées entre identités est sérieusement entravée par le désalignement des opérations. Pour surmonter cela, nous proposons un paradigme avancé d'auto-augmentation des données qui garantit des opérations de retouche strictement alignées. Afin de pallier la rareté des données et de soutenir cette nouvelle tâche, nous introduisons MirrorPPR47M, un ensemble de données à grande échelle comprenant plus de 47 millions de paires retouchées. En structurant l'ensemble de données en sous-ensembles simulés et professionnels, nous permettons un apprentissage curriculaire progressif pour optimiser le réseau en douceur. Des expériences approfondies démontrent que MirrorPPR surpasse significativement les références existantes tant en qualité de retouche qu'en préservation de l'identité. La page du projet est disponible à l'adresse https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.