TIP: Procesamiento de imágenes guiado por texto con semántica y restauración Instrucciones

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Autores: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Resumen

Los modelos de difusión impulsados por texto han ganado popularidad creciente en diversas tareas de edición de imágenes, como la restauración de áreas dañadas, la estilización y el reemplazo de objetos. Sin embargo, sigue siendo un problema de investigación abierto adaptar este paradigma de lenguaje-visión para tareas de procesamiento de imágenes más detalladas, como la eliminación de ruido, la superresolución, la corrección de desenfoques y la eliminación de artefactos de compresión. En este artículo, desarrollamos TIP, un marco de Procesamiento de Imágenes Impulsado por Texto que aprovecha el lenguaje natural como una interfaz amigable para controlar el proceso de restauración de imágenes. Consideramos la capacidad de la información textual en dos dimensiones. Primero, utilizamos indicaciones relacionadas con el contenido para mejorar la alineación semántica, mitigando efectivamente la ambigüedad de identidad en los resultados de restauración. Segundo, nuestro enfoque es el primer marco que admite instrucciones detalladas mediante la especificación cuantitativa basada en lenguaje de la intensidad de restauración, sin necesidad de un diseño explícito específico para cada tarea. Además, introducimos un novedoso mecanismo de fusión que mejora la arquitectura existente de ControlNet al aprender a reescalar el prior generativo, logrando así una mejor fidelidad en la restauración. Nuestros extensos experimentos demuestran el rendimiento superior de TIP en comparación con los métodos más avanzados, junto con la flexibilidad de control basado en texto sobre los efectos de restauración.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.