RestoreFormer++: Verso il Restauro del Volto in Condizioni Reali a Partire da Coppie Chiave-Valore Non Degradate

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs

August 14, 2023

Autori: Zhouxia Wang, Jiawei Zhang, Tianshui Chen, Wenping Wang, Ping Luo

cs.AI

Abstract

Il ripristino cieco del volto mira a recuperare immagini facciali di alta qualità da quelle con degradazioni sconosciute. Gli algoritmi attuali introducono principalmente dei priori per integrare dettagli di alta qualità e ottenere progressi significativi. Tuttavia, la maggior parte di questi algoritmi ignora le abbondanti informazioni contestuali presenti nel volto e la loro interazione con i priori, portando a prestazioni sub-ottimali. Inoltre, prestano meno attenzione al divario tra scenari sintetici e reali, limitando la robustezza e la generalizzazione per applicazioni nel mondo reale. In questo lavoro, proponiamo RestoreFormer++, che da un lato introduce meccanismi di attenzione completamente spaziale per modellare le informazioni contestuali e la loro interazione con i priori, e dall'altro esplora un modello di degradazione esteso per aiutare a generare immagini facciali degradate più realistiche, alleviando il divario tra sintetico e reale. Rispetto agli algoritmi attuali, RestoreFormer++ presenta diversi vantaggi cruciali. Innanzitutto, invece di utilizzare un meccanismo di auto-attenzione multi-testina come il tradizionale visual transformer, introduciamo un'attenzione incrociata multi-testina su caratteristiche multi-scala per esplorare appieno le interazioni spaziali tra informazioni corrotte e priori di alta qualità. In questo modo, RestoreFormer++ può ripristinare immagini facciali con maggiore realismo e fedeltà. In secondo luogo, a differenza del dizionario orientato al riconoscimento, apprendiamo un dizionario orientato alla ricostruzione come priori, che contiene dettagli facciali di alta qualità più diversificati e si adatta meglio all'obiettivo di ripristino. Terzo, introduciamo un modello di degradazione esteso che include scenari degradati più realistici per la sintesi dei dati di addestramento, contribuendo così a migliorare la robustezza e la generalizzazione del nostro modello RestoreFormer++. Esperimenti estesi dimostrano che RestoreFormer++ supera gli algoritmi all'avanguardia sia su dataset sintetici che reali.

English

Blind face restoration aims at recovering high-quality face images from those with unknown degradations. Current algorithms mainly introduce priors to complement high-quality details and achieve impressive progress. However, most of these algorithms ignore abundant contextual information in the face and its interplay with the priors, leading to sub-optimal performance. Moreover, they pay less attention to the gap between the synthetic and real-world scenarios, limiting the robustness and generalization to real-world applications. In this work, we propose RestoreFormer++, which on the one hand introduces fully-spatial attention mechanisms to model the contextual information and the interplay with the priors, and on the other hand, explores an extending degrading model to help generate more realistic degraded face images to alleviate the synthetic-to-real-world gap. Compared with current algorithms, RestoreFormer++ has several crucial benefits. First, instead of using a multi-head self-attention mechanism like the traditional visual transformer, we introduce multi-head cross-attention over multi-scale features to fully explore spatial interactions between corrupted information and high-quality priors. In this way, it can facilitate RestoreFormer++ to restore face images with higher realness and fidelity. Second, in contrast to the recognition-oriented dictionary, we learn a reconstruction-oriented dictionary as priors, which contains more diverse high-quality facial details and better accords with the restoration target. Third, we introduce an extending degrading model that contains more realistic degraded scenarios for training data synthesizing, and thus helps to enhance the robustness and generalization of our RestoreFormer++ model. Extensive experiments show that RestoreFormer++ outperforms state-of-the-art algorithms on both synthetic and real-world datasets.