InstructDiffusion: Eine generalistische Modellierungsschnittstelle für Vision-Aufgaben

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Autoren: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Zusammenfassung

Wir präsentieren InstructDiffusion, ein vereinheitlichendes und generisches Framework zur Ausrichtung von Computer-Vision-Aufgaben an menschlichen Anweisungen. Im Gegensatz zu bestehenden Ansätzen, die Vorwissen integrieren und den Ausgaberaum (z. B. Kategorien und Koordinaten) für jede Vision-Aufgabe vordefinieren, fassen wir diverse Vision-Aufgaben in einen menschenintuitiven Bildbearbeitungsprozess zusammen, dessen Ausgaberaum ein flexibler und interaktiver Pixelraum ist. Konkret basiert das Modell auf dem Diffusionsprozess und wird darauf trainiert, Pixel gemäß Benutzeranweisungen vorherzusagen, wie z. B. die linke Schulter des Mannes rot zu umkreisen oder eine blaue Maske auf das linke Auto anzuwenden. InstructDiffusion kann eine Vielzahl von Vision-Aufgaben bewältigen, darunter Verständnisaufgaben (wie Segmentierung und Keypoint-Erkennung) und generative Aufgaben (wie Bearbeitung und Verbesserung). Es zeigt sogar die Fähigkeit, unbekannte Aufgaben zu bewältigen, und übertrifft bisherige Methoden auf neuen Datensätzen. Dies stellt einen bedeutenden Schritt in Richtung einer generalistischen Modellierungsschnittstelle für Vision-Aufgaben dar und fördert die künstliche allgemeine Intelligenz im Bereich der Computer Vision.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.