MirrorPPR: Retoque de Retratos Baseado em Exemplares

Resumo

Embora a edição de imagens guiada por texto tenha alcançado progressos notáveis, ela ainda é limitada no retoque estrutural de retratos. Descrições textuais têm dificuldade em transmitir alterações sutis em características faciais e proporções corporais. Para abordar essa lacuna, apresentamos o Retoque de Fotos de Retrato Baseado em Exemplares, onde o modelo recebe um par de exemplares e tem a tarefa de inferir e aplicar as mesmas operações de retoque a uma nova imagem de consulta. Métodos existentes de edição baseada em exemplares focam principalmente em tarefas com transformações visuais pronunciadas. Em contraste, o retoque estrutural de retratos envolve modificações extremamente delicadas e localizadas, tornando desafiadora a extração e transferência precisas dessas edições. Para enfrentar isso, propomos o MirrorPPR, uma nova estrutura projetada para capturar e transferir operações sutis de retoque estrutural. Nosso método utiliza um Extrator de Operações de Retoque para capturar as diferenças sutis do par de exemplares. As representações extraídas são então injetadas em um Transformer de Difusão (DiT) pré-treinado por meio de um conector e módulos de Adaptação de Baixo Posto (LoRA). Além disso, a construção de pares de treinamento perfeitamente alinhados entre identidades é severamente prejudicada pelo desalinhamento de operações. Para superar isso, propomos um paradigma avançado de autoaumento de dados que garante operações de retoque estritamente alinhadas. Para aliviar a escassez de dados e apoiar essa nova tarefa, apresentamos o MirrorPPR47M, um conjunto de dados em grande escala com mais de 47 milhões de pares retocados. Ao estruturar o conjunto de dados em subconjuntos simulados e profissionais, possibilitamos o aprendizado curricular progressivo para otimizar suavemente a rede. Extensos experimentos demonstram que o MirrorPPR supera significativamente as linhas de base existentes tanto na qualidade do retoque quanto na preservação da identidade. A página do projeto está disponível em https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.