RestoreFormer++ : Vers la restauration faciale aveugle en conditions réelles à partir de paires clé-valeur non dégradées

RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs

August 14, 2023

Auteurs: Zhouxia Wang, Jiawei Zhang, Tianshui Chen, Wenping Wang, Ping Luo

cs.AI

Résumé

La restauration aveugle de visages vise à récupérer des images de visages de haute qualité à partir de celles présentant des dégradations inconnues. Les algorithmes actuels introduisent principalement des a priori pour compléter les détails de haute qualité et ont réalisé des progrès impressionnants. Cependant, la plupart de ces algorithmes ignorent les informations contextuelles abondantes dans le visage et leur interaction avec les a priori, ce qui conduit à des performances sous-optimales. De plus, ils accordent moins d'attention à l'écart entre les scénarios synthétiques et réels, limitant ainsi la robustesse et la généralisation pour les applications réelles. Dans ce travail, nous proposons RestoreFormer++, qui, d'une part, introduit des mécanismes d'attention spatiale complète pour modéliser les informations contextuelles et leur interaction avec les a priori, et d'autre part, explore un modèle de dégradation étendu pour aider à générer des images de visages dégradés plus réalistes afin de réduire l'écart entre le synthétique et le réel. Par rapport aux algorithmes actuels, RestoreFormer++ présente plusieurs avantages cruciaux. Premièrement, au lieu d'utiliser un mécanisme d'auto-attention multi-tête comme le transformeur visuel traditionnel, nous introduisons une attention croisée multi-tête sur des caractéristiques multi-échelles pour explorer pleinement les interactions spatiales entre les informations corrompues et les a priori de haute qualité. De cette manière, cela permet à RestoreFormer++ de restaurer des images de visages avec un réalisme et une fidélité accrus. Deuxièmement, contrairement au dictionnaire orienté reconnaissance, nous apprenons un dictionnaire orienté reconstruction comme a priori, qui contient des détails faciaux de haute qualité plus diversifiés et correspond mieux à l'objectif de restauration. Troisièmement, nous introduisons un modèle de dégradation étendu qui inclut des scénarios de dégradation plus réalistes pour la synthèse des données d'entraînement, aidant ainsi à améliorer la robustesse et la généralisation de notre modèle RestoreFormer++. Des expériences approfondies montrent que RestoreFormer++ surpasse les algorithmes de pointe sur des ensembles de données synthétiques et réels.

English

Blind face restoration aims at recovering high-quality face images from those with unknown degradations. Current algorithms mainly introduce priors to complement high-quality details and achieve impressive progress. However, most of these algorithms ignore abundant contextual information in the face and its interplay with the priors, leading to sub-optimal performance. Moreover, they pay less attention to the gap between the synthetic and real-world scenarios, limiting the robustness and generalization to real-world applications. In this work, we propose RestoreFormer++, which on the one hand introduces fully-spatial attention mechanisms to model the contextual information and the interplay with the priors, and on the other hand, explores an extending degrading model to help generate more realistic degraded face images to alleviate the synthetic-to-real-world gap. Compared with current algorithms, RestoreFormer++ has several crucial benefits. First, instead of using a multi-head self-attention mechanism like the traditional visual transformer, we introduce multi-head cross-attention over multi-scale features to fully explore spatial interactions between corrupted information and high-quality priors. In this way, it can facilitate RestoreFormer++ to restore face images with higher realness and fidelity. Second, in contrast to the recognition-oriented dictionary, we learn a reconstruction-oriented dictionary as priors, which contains more diverse high-quality facial details and better accords with the restoration target. Third, we introduce an extending degrading model that contains more realistic degraded scenarios for training data synthesizing, and thus helps to enhance the robustness and generalization of our RestoreFormer++ model. Extensive experiments show that RestoreFormer++ outperforms state-of-the-art algorithms on both synthetic and real-world datasets.