MirrorPPR: Exemplarbasierte Portraitfoto-Retusche

Zusammenfassung

Obwohl textgesteuerte Bildbearbeitung bemerkenswerte Fortschritte erzielt hat, bleibt sie bei der strukturellen Porträtretusche eingeschränkt. Textbeschreibungen haben Schwierigkeiten, feinkörnige Veränderungen an Gesichtszügen und Körperproportionen zu vermitteln. Um diese Lücke zu schließen, führen wir die exemplarbasierte Porträtfoto-Retusche ein, bei der dem Modell ein Exemplarpaar vorgegeben wird und es die Aufgabe hat, dieselben Retuscheoperationen auf ein neues Abfragebild zu übertragen. Bestehende exemplarbasierte Bearbeitungsmethoden konzentrieren sich hauptsächlich auf Aufgaben mit ausgeprägten visuellen Transformationen. Im Gegensatz dazu umfasst die strukturelle Porträtretusche äußerst feine und lokalisierte Modifikationen, was die genaue Extraktion und Übertragung dieser Bearbeitungen herausfordernd macht. Um dies zu bewältigen, schlagen wir MirrorPPR vor, ein neuartiges Framework, das darauf ausgelegt ist, subtile strukturelle Retuscheoperationen zu erfassen und zu übertragen. Unsere Methode verwendet einen Retuscheoperationen-Extraktor, um die subtilen Unterschiede aus dem Exemplarpaar zu erfassen. Die extrahierten Repräsentationen werden dann über einen Connector und Low-Rank Adaptation (LoRA)-Module in einen vortrainierten Diffusion Transformer (DiT) eingespeist. Darüber hinaus wird die Erstellung perfekt ausgerichteter, identitätsübergreifender Trainingspaare durch Fehlausrichtungen der Operationen stark behindert. Um dies zu überwinden, schlagen wir ein fortschrittliches Daten-Selbstaugmentierungsparadigma vor, das streng ausgerichtete Retuscheoperationen gewährleistet. Um die Datenknappheit zu verringern und diese neuartige Aufgabe zu unterstützen, führen wir MirrorPPR47M ein, einen groß angelegten Datensatz mit über 47 Millionen retuschierten Paaren. Durch die Strukturierung des Datensatzes in simulierte und professionelle Teilmengen ermöglichen wir progressives Curriculum-Lernen, um das Netzwerk gleichmäßig zu optimieren. Umfangreiche Experimente zeigen, dass MirrorPPR bestehende Baselines sowohl in der Retuschequalität als auch in der Identitätserhaltung deutlich übertrifft. Die Projektseite ist verfügbar unter https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.