TIP: Textgesteuerte Bildverarbeitung mit Semantik und Restauration Anweisungen

TIP: Text-Driven Image Processing with Semantic and Restoration Instructions

December 18, 2023

Autoren: Chenyang Qi, Zhengzhong Tu, Keren Ye, Mauricio Delbracio, Peyman Milanfar, Qifeng Chen, Hossein Talebi

cs.AI

Zusammenfassung

Text-gesteuerte Diffusionsmodelle erfreuen sich zunehmender Beliebtheit für verschiedene Bildbearbeitungsaufgaben, darunter Inpainting, Stilisierung und Objektersetzung. Es bleibt jedoch ein offenes Forschungsproblem, dieses Sprach-Vision-Paradigma für feinere Bildverarbeitungsaufgaben wie Rauschunterdrückung, Super-Resolution, Entschärfung und die Entfernung von Kompressionsartefakten zu adaptieren. In diesem Artikel entwickeln wir TIP, ein Text-gesteuertes Bildverarbeitungsframework, das natürliche Sprache als benutzerfreundliche Schnittstelle nutzt, um den Bildrestaurationsprozess zu steuern. Wir betrachten die Kapazität von Textinformationen in zwei Dimensionen. Erstens verwenden wir inhaltsbezogene Prompts, um die semantische Ausrichtung zu verbessern und dadurch Identitätsunsicherheiten in den Restaurationsergebnissen effektiv zu verringern. Zweitens ist unser Ansatz das erste Framework, das fein abgestimmte Anweisungen durch sprachbasierte quantitative Spezifikation der Restaurationsstärke unterstützt, ohne dass eine explizite, aufgabenbezogene Gestaltung erforderlich ist. Zusätzlich führen wir einen neuartigen Fusionsmechanismus ein, der die bestehende ControlNet-Architektur erweitert, indem er lernt, das generative Prior zu skalieren und dadurch eine bessere Restaurationsgenauigkeit zu erreichen. Unsere umfangreichen Experimente demonstrieren die überlegene Restaurationsleistung von TIP im Vergleich zum Stand der Technik, wobei gleichzeitig die Flexibilität der textbasierten Steuerung der Restaurationswirkungen geboten wird.

English

Text-driven diffusion models have become increasingly popular for various image editing tasks, including inpainting, stylization, and object replacement. However, it still remains an open research problem to adopt this language-vision paradigm for more fine-level image processing tasks, such as denoising, super-resolution, deblurring, and compression artifact removal. In this paper, we develop TIP, a Text-driven Image Processing framework that leverages natural language as a user-friendly interface to control the image restoration process. We consider the capacity of text information in two dimensions. First, we use content-related prompts to enhance the semantic alignment, effectively alleviating identity ambiguity in the restoration outcomes. Second, our approach is the first framework that supports fine-level instruction through language-based quantitative specification of the restoration strength, without the need for explicit task-specific design. In addition, we introduce a novel fusion mechanism that augments the existing ControlNet architecture by learning to rescale the generative prior, thereby achieving better restoration fidelity. Our extensive experiments demonstrate the superior restoration performance of TIP compared to the state of the arts, alongside offering the flexibility of text-based control over the restoration effects.