MirrorPPR: Retoque de retratos fotográficos basado en ejemplares

Resumen

Aunque la edición de imágenes guiada por texto ha logrado avances notables, sigue siendo limitada en el retoque estructural de retratos. Las descripciones textuales tienen dificultades para transmitir cambios detallados en las características faciales y las proporciones corporales. Para abordar esta brecha, introducimos el Retoque de Fotos de Retratos Basado en Ejemplos, donde se proporciona al modelo un par de ejemplo y se le encarga inferir y aplicar las mismas operaciones de retoque a una nueva imagen de consulta. Los métodos de edición basados en ejemplos existentes se centran principalmente en tareas con transformaciones visuales pronunciadas. En contraste, el retoque estructural de retratos implica modificaciones extremadamente sutiles y localizadas, lo que dificulta la extracción y transferencia precisas de estas ediciones. Para abordar esto, proponemos MirrorPPR, un marco novedoso diseñado para capturar y transferir operaciones de retoque estructural sutil. Nuestro método utiliza un Extractor de Operaciones de Retoque para capturar las diferencias sutiles del par de ejemplo. Las representaciones extraídas se inyectan luego en un Transformer de Difusión (DiT) preentrenado a través de un conector y módulos de Adaptación de Bajo Rango (LoRA). Además, la construcción de pares de entrenamiento perfectamente alineados entre identidades se ve gravemente obstaculizada por la desalineación de las operaciones. Para superar esto, proponemos un paradigma avanzado de autoaumento de datos que garantiza operaciones de retoque estrictamente alineadas. Para aliviar la escasez de datos y respaldar esta nueva tarea, presentamos MirrorPPR47M, un conjunto de datos a gran escala con más de 47 millones de pares retocados. Al estructurar el conjunto de datos en subconjuntos simulados y profesionales, habilitamos un aprendizaje curricular progresivo para optimizar la red de manera fluida. Experimentos exhaustivos demuestran que MirrorPPR supera significativamente a las líneas de base existentes tanto en calidad de retoque como en preservación de identidad. La página del proyecto está disponible en https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.