TIP: Processamento de Imagens Orientado por Texto com Semântica e Restauração Instruções

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Autores: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Resumo

Modelos de difusão orientados por texto têm se tornado cada vez mais populares para diversas tarefas de edição de imagens, incluindo inpainting, estilização e substituição de objetos. No entanto, ainda permanece um problema de pesquisa em aberto adotar esse paradigma de linguagem-visão para tarefas de processamento de imagem em nível mais refinado, como remoção de ruído, super-resolução, desembaçamento e remoção de artefatos de compressão. Neste artigo, desenvolvemos o TIP, uma estrutura de Processamento de Imagem Orientado por Texto que aproveita a linguagem natural como uma interface amigável ao usuário para controlar o processo de restauração de imagem. Consideramos a capacidade da informação textual em duas dimensões. Primeiro, usamos prompts relacionados ao conteúdo para melhorar o alinhamento semântico, aliviando efetivamente a ambiguidade de identidade nos resultados de restauração. Segundo, nossa abordagem é a primeira estrutura que suporta instruções em nível refinado por meio de especificação quantitativa baseada em linguagem da intensidade de restauração, sem a necessidade de design explícito específico para a tarefa. Além disso, introduzimos um novo mecanismo de fusão que amplia a arquitetura existente do ControlNet ao aprender a redimensionar o prior generativo, alcançando assim uma melhor fidelidade de restauração. Nossos extensos experimentos demonstram o desempenho superior de restauração do TIP em comparação com o estado da arte, ao mesmo tempo em que oferece a flexibilidade de controle baseado em texto sobre os efeitos de restauração.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.