TIP : Traitement d'image piloté par texte avec sémantique et restauration Instructions

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Auteurs: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Résumé

Les modèles de diffusion pilotés par texte sont devenus de plus en plus populaires pour diverses tâches d'édition d'images, notamment l'inpainting, la stylisation et le remplacement d'objets. Cependant, il reste un problème de recherche ouvert d'adopter ce paradigme langage-vision pour des tâches de traitement d'image plus fines, telles que le débruitage, la super-résolution, le défloutage et la suppression des artefacts de compression. Dans cet article, nous développons TIP, un cadre de traitement d'image piloté par texte qui exploite le langage naturel comme interface conviviale pour contrôler le processus de restauration d'image. Nous considérons la capacité de l'information textuelle sous deux dimensions. Premièrement, nous utilisons des invites liées au contenu pour améliorer l'alignement sémantique, atténuant efficacement l'ambiguïté d'identité dans les résultats de restauration. Deuxièmement, notre approche est le premier cadre à supporter des instructions fines via une spécification quantitative basée sur la langue de l'intensité de restauration, sans nécessiter de conception explicite spécifique à la tâche. De plus, nous introduisons un nouveau mécanisme de fusion qui améliore l'architecture existante de ControlNet en apprenant à redimensionner le prior génératif, permettant ainsi une meilleure fidélité de restauration. Nos expériences approfondies démontrent la performance de restauration supérieure de TIP par rapport à l'état de l'art, tout en offrant la flexibilité d'un contrôle textuel sur les effets de restauration.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.