MirrorPPR: ретушь портретных фотографий на основе примеров

Аннотация

Несмотря на значительный прогресс в области редактирования изображений по текстовым запросам, этот подход остается ограниченным применительно к структурной ретуши портретов. Текстовые описания с трудом передают тонкие изменения черт лица и пропорций тела. Для решения этой проблемы мы вводим понятие ретуши портретных фотографий по образцу (Exemplar-Based Portrait Photo Retouching), где модель получает пару образцов (до и после ретуши) и должна вывести и применить те же операции ретуши к новому целевому изображению. Существующие методы редактирования по образцу в основном ориентированы на задачи с выраженными визуальными преобразованиями. В отличие от них, структурная ретушь портретов требует чрезвычайно тонких и локальных модификаций, что затрудняет точное извлечение и перенос этих операций. Для решения этой задачи мы предлагаем MirrorPPR — новую архитектуру, предназначенную для захвата и переноса тонких операций структурной ретуши. Наш метод использует экстрактор операций ретуши (Retouching Operation Extractor) для выделения тонких различий из пары образцов. Извлеченные представления затем внедряются в предварительно обученный диффузионный трансформер (Diffusion Transformer, DiT) через коннектор и модули низкоранговой адаптации (Low-Rank Adaptation, LoRA). Кроме того, построение идеально согласованных обучающих пар между разными личностями существенно затрудняется из-за несоосности операций ретуши. Чтобы преодолеть это, мы предлагаем продвинутую парадигму самоаугментации данных, обеспечивающую строгую согласованность операций ретуши. Для устранения дефицита данных и поддержки этой новой задачи мы представляем MirrorPPR47M — крупномасштабный набор данных, содержащий более 47 миллионов пар ретуши. Структурируя датасет на симулированный и профессиональный подмножества, мы обеспечиваем прогрессивное обучение по нарастающей сложности для плавной оптимизации сети. Обширные эксперименты показывают, что MirrorPPR значительно превосходит существующие базовые методы как по качеству ретуши, так и по сохранению идентичности. Страница проекта доступна по адресу https://sjtu-deng-lab.github.io/MirrorPPR.

English

While text-guided image editing has made remarkable progress, it remains limited in structural portrait retouching. Textual descriptions struggle to convey fine-grained changes to facial features and body proportions. To address this gap, we introduce Exemplar-Based Portrait Photo Retouching, where the model is given an exemplar pair and tasked with inferring and applying the same retouching operations to a new query image. Existing exemplar-based editing methods primarily focus on tasks with pronounced visual transformations. In contrast, structural portrait retouching involves extremely delicate and localized modifications, making accurate extraction and transfer of these edits challenging. To tackle this, we propose MirrorPPR, a novel framework designed to capture and transfer subtle structural retouching operations. Our method uses a Retouching Operation Extractor to capture the subtle differences from the exemplar pair. The extracted representations are then injected into a pre-trained Diffusion Transformer (DiT) through a connector and Low-Rank Adaptation (LoRA) modules. Furthermore, constructing perfectly aligned cross-identity training pairs is severely hindered by operation misalignment. To overcome this, we propose an advanced data self-augmentation paradigm that ensures strictly aligned retouching operations. To alleviate data scarcity and support this novel task, we introduce MirrorPPR47M, a large-scale dataset with over 47 million retouched pairs. By structuring the dataset into simulated and professional subsets, we enable progressive curriculum learning to smoothly optimize the network. Extensive experiments demonstrate that MirrorPPR significantly outperforms existing baselines in both retouching quality and identity preservation. The project page is available at https://sjtu-deng-lab.github.io/MirrorPPR.