TIP: Обработка изображений на основе текста с использованием семантики и восстановления Инструкции

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Авторы: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Аннотация

Диффузионные модели, управляемые текстом, становятся все более популярными для различных задач редактирования изображений, включая восстановление, стилизацию и замену объектов. Однако остается открытой исследовательской проблемой адаптация этой языково-визуальной парадигмы для более тонких задач обработки изображений, таких как удаление шума, повышение разрешения, устранение размытия и удаление артефактов сжатия. В данной статье мы разрабатываем TIP — фреймворк для обработки изображений, управляемый текстом, который использует естественный язык как удобный интерфейс для управления процессом восстановления изображений. Мы рассматриваем возможности текстовой информации в двух аспектах. Во-первых, мы используем контентно-ориентированные подсказки для улучшения семантического согласования, эффективно устраняя неоднозначность идентичности в результатах восстановления. Во-вторых, наш подход является первым фреймворком, поддерживающим детальные инструкции через языковое количественное указание степени восстановления, без необходимости явного проектирования для конкретных задач. Кроме того, мы вводим новый механизм слияния, который расширяет существующую архитектуру ControlNet, обучаясь перемасштабированию генеративного приора, тем самым достигая лучшей точности восстановления. Наши обширные эксперименты демонстрируют превосходную производительность TIP по сравнению с современными методами, а также предлагают гибкость текстового управления эффектами восстановления.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.