InstructDiffusion: Uma Interface de Modelagem Generalista para Tarefas Visuais

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Autores: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Resumo

Apresentamos o InstructDiffusion, um framework unificador e genérico para alinhar tarefas de visão computacional com instruções humanas. Diferente das abordagens existentes que integram conhecimento prévio e predefinem o espaço de saída (por exemplo, categorias e coordenadas) para cada tarefa de visão, nós transformamos diversas tarefas de visão em um processo intuitivo de manipulação de imagens, cujo espaço de saída é um espaço de pixels flexível e interativo. Concretamente, o modelo é construído sobre o processo de difusão e é treinado para prever pixels de acordo com instruções do usuário, como circundar o ombro esquerdo do homem em vermelho ou aplicar uma máscara azul ao carro da esquerda. O InstructDiffusion é capaz de lidar com uma variedade de tarefas de visão, incluindo tarefas de compreensão (como segmentação e detecção de pontos-chave) e tarefas generativas (como edição e aprimoramento). Ele até mesmo demonstra a capacidade de lidar com tarefas não vistas anteriormente e supera métodos anteriores em novos conjuntos de dados. Isso representa um passo significativo em direção a uma interface de modelagem generalista para tarefas de visão, avançando a inteligência artificial geral no campo da visão computacional.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.