RestoreFormer++: Naar Realistische Blind Face Restoration vanuit Niet-Gedegradeerde Sleutel-Waarde Paren

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs

August 14, 2023

Auteurs: Zhouxia Wang, Jiawei Zhang, Tianshui Chen, Wenping Wang, Ping Luo

cs.AI

Samenvatting

Blind face restoration heeft als doel hoogwaardige gezichtsafbeeldingen te herstellen uit afbeeldingen met onbekende degradaties. Huidige algoritmen introduceren voornamelijk priors om hoogwaardige details aan te vullen en boeken indrukwekkende vooruitgang. De meeste van deze algoritmen negeren echter de overvloedige contextuele informatie in het gezicht en de interactie met de priors, wat leidt tot suboptimale prestaties. Bovendien besteden ze minder aandacht aan de kloof tussen synthetische en realistische scenario's, wat de robuustheid en generalisatie naar realistische toepassingen beperkt. In dit werk stellen we RestoreFormer++ voor, dat enerzijds volledig ruimtelijke aandachtmechanismen introduceert om de contextuele informatie en de interactie met de priors te modelleren, en anderzijds een uitgebreid degradatiemodel verkent om meer realistische gedegradeerde gezichtsafbeeldingen te genereren, waardoor de kloof tussen synthetische en realistische scenario's wordt verkleind. Vergeleken met huidige algoritmen heeft RestoreFormer++ verschillende cruciale voordelen. Ten eerste introduceren we, in plaats van een multi-head self-attention mechanisme te gebruiken zoals de traditionele visuele transformer, multi-head cross-attention over multi-schaal kenmerken om ruimtelijke interacties tussen beschadigde informatie en hoogwaardige priors volledig te verkennen. Op deze manier kan RestoreFormer++ gezichtsafbeeldingen herstellen met een hogere realiteit en trouw. Ten tweede leren we, in tegenstelling tot het herkenningsgerichte woordenboek, een reconstructiegericht woordenboek als priors, dat meer diverse hoogwaardige gezichtsdetails bevat en beter aansluit bij het hersteldoel. Ten derde introduceren we een uitgebreid degradatiemodel dat meer realistische gedegradeerde scenario's bevat voor het synthetiseren van trainingsdata, en helpt zo de robuustheid en generalisatie van ons RestoreFormer++ model te verbeteren. Uitgebreide experimenten tonen aan dat RestoreFormer++ state-of-the-art algoritmen overtreft op zowel synthetische als realistische datasets.

English

Blind face restoration aims at recovering high-quality face images from those with unknown degradations. Current algorithms mainly introduce priors to complement high-quality details and achieve impressive progress. However, most of these algorithms ignore abundant contextual information in the face and its interplay with the priors, leading to sub-optimal performance. Moreover, they pay less attention to the gap between the synthetic and real-world scenarios, limiting the robustness and generalization to real-world applications. In this work, we propose RestoreFormer++, which on the one hand introduces fully-spatial attention mechanisms to model the contextual information and the interplay with the priors, and on the other hand, explores an extending degrading model to help generate more realistic degraded face images to alleviate the synthetic-to-real-world gap. Compared with current algorithms, RestoreFormer++ has several crucial benefits. First, instead of using a multi-head self-attention mechanism like the traditional visual transformer, we introduce multi-head cross-attention over multi-scale features to fully explore spatial interactions between corrupted information and high-quality priors. In this way, it can facilitate RestoreFormer++ to restore face images with higher realness and fidelity. Second, in contrast to the recognition-oriented dictionary, we learn a reconstruction-oriented dictionary as priors, which contains more diverse high-quality facial details and better accords with the restoration target. Third, we introduce an extending degrading model that contains more realistic degraded scenarios for training data synthesizing, and thus helps to enhance the robustness and generalization of our RestoreFormer++ model. Extensive experiments show that RestoreFormer++ outperforms state-of-the-art algorithms on both synthetic and real-world datasets.