TIP: Elaborazione di Immagini Guidata da Testo con Semantica e Restauro Istruzioni

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Autori: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Abstract

I modelli di diffusione guidati da testo hanno guadagnato sempre più popolarità per varie attività di editing di immagini, tra cui inpainting, stilizzazione e sostituzione di oggetti. Tuttavia, rimane ancora un problema di ricerca aperto adottare questo paradigma linguaggio-visione per attività di elaborazione delle immagini più dettagliate, come la riduzione del rumore, la super-risoluzione, la deblurring e la rimozione degli artefatti di compressione. In questo articolo, sviluppiamo TIP, un framework di elaborazione delle immagini guidato da testo che sfrutta il linguaggio naturale come interfaccia user-friendly per controllare il processo di restauro delle immagini. Consideriamo la capacità delle informazioni testuali in due dimensioni. In primo luogo, utilizziamo prompt relativi al contenuto per migliorare l'allineamento semantico, allevando efficacemente l'ambiguità di identità nei risultati di restauro. In secondo luogo, il nostro approccio è il primo framework che supporta istruzioni dettagliate attraverso la specificazione quantitativa basata sul linguaggio della forza di restauro, senza la necessità di un design esplicito specifico per il compito. Inoltre, introduciamo un nuovo meccanismo di fusione che potenzia l'architettura esistente di ControlNet imparando a riscalare il prior generativo, ottenendo così una migliore fedeltà di restauro. I nostri esperimenti estensivi dimostrano la superiore performance di restauro di TIP rispetto allo stato dell'arte, offrendo al contempo la flessibilità del controllo basato su testo sugli effetti di restauro.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.