InstructDiffusion: Un'interfaccia di modellazione generalista per compiti visivi

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Autori: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Abstract

Presentiamo InstructDiffusion, un framework unificante e generico per allineare i compiti di visione artificiale con le istruzioni umane. A differenza degli approcci esistenti che integrano conoscenze pregresse e predefiniscono lo spazio di output (ad esempio, categorie e coordinate) per ogni task di visione, trasformiamo vari compiti di visione in un processo intuitivo di manipolazione delle immagini il cui spazio di output è uno spazio di pixel flessibile e interattivo. Nello specifico, il modello è basato sul processo di diffusione ed è addestrato a prevedere i pixel in base alle istruzioni dell'utente, come cerchiare in rosso la spalla sinistra di un uomo o applicare una maschera blu all'auto a sinistra. InstructDiffusion è in grado di gestire una varietà di task di visione, inclusi compiti di comprensione (come segmentazione e rilevamento di punti chiave) e compiti generativi (come modifica e miglioramento). Dimostra persino la capacità di gestire task non visti in precedenza e supera i metodi precedenti su nuovi dataset. Questo rappresenta un passo significativo verso un'interfaccia di modellazione generalista per i task di visione, avanzando l'intelligenza artificiale generale nel campo della visione artificiale.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.