Hochwertige Bildrestauration basierend auf menschlichen Anweisungen
High-Quality Image Restoration Following Human Instructions
January 29, 2024
Autoren: Marcos V. Conde, Gregor Geigle, Radu Timofte
cs.AI
Zusammenfassung
Bildrestaurierung ist ein grundlegendes Problem, bei dem es darum geht, ein hochwertiges, sauberes Bild aus seiner beeinträchtigten Beobachtung wiederherzustellen. All-In-One-Bildrestaurierungsmodelle können Bilder effektiv aus verschiedenen Arten und Graden von Beeinträchtigungen wiederherstellen, indem sie spezifische Informationen zur Beeinträchtigung als Prompts verwenden, um das Restaurierungsmodell zu steuern. In dieser Arbeit präsentieren wir den ersten Ansatz, der menschengeschriebene Anweisungen verwendet, um das Bildrestaurierungsmodell zu leiten. Bei gegebenen natürlichen Sprachprompts kann unser Modell hochwertige Bilder aus ihren beeinträchtigten Gegenstücken wiederherstellen, wobei mehrere Arten von Beeinträchtigungen berücksichtigt werden. Unsere Methode, InstructIR, erzielt state-of-the-art Ergebnisse bei mehreren Restaurierungsaufgaben, einschließlich Bildentrauschen, Entfernen von Regen, Entschärfen, Entnebeln und (schwache Beleuchtung betreffende) Bildverbesserung. InstructIR verbessert sich um +1 dB gegenüber früheren All-In-One-Restaurierungsmethoden. Darüber hinaus stellen unser Datensatz und unsere Ergebnisse einen neuartigen Benchmark für neue Forschungen zur textgesteuerten Bildrestaurierung und -verbesserung dar. Unser Code, Datensätze und Modelle sind verfügbar unter: https://github.com/mv-lab/InstructIR.
English
Image restoration is a fundamental problem that involves recovering a
high-quality clean image from its degraded observation. All-In-One image
restoration models can effectively restore images from various types and levels
of degradation using degradation-specific information as prompts to guide the
restoration model. In this work, we present the first approach that uses
human-written instructions to guide the image restoration model. Given natural
language prompts, our model can recover high-quality images from their degraded
counterparts, considering multiple degradation types. Our method, InstructIR,
achieves state-of-the-art results on several restoration tasks including image
denoising, deraining, deblurring, dehazing, and (low-light) image enhancement.
InstructIR improves +1dB over previous all-in-one restoration methods.
Moreover, our dataset and results represent a novel benchmark for new research
on text-guided image restoration and enhancement. Our code, datasets and models
are available at: https://github.com/mv-lab/InstructIR