InstructDiffusion: Una Interfaz de Modelado Generalista para Tareas de Visión

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Autores: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Resumen

Presentamos InstructDiffusion, un marco unificador y genérico para alinear tareas de visión por computadora con instrucciones humanas. A diferencia de los enfoques existentes que integran conocimiento previo y predefinen el espacio de salida (por ejemplo, categorías y coordenadas) para cada tarea de visión, transformamos diversas tareas de visión en un proceso intuitivo de manipulación de imágenes cuyo espacio de salida es un espacio de píxeles flexible e interactivo. Concretamente, el modelo se basa en el proceso de difusión y se entrena para predecir píxeles según las instrucciones del usuario, como rodear en rojo el hombro izquierdo de un hombre o aplicar una máscara azul al coche de la izquierda. InstructDiffusion puede manejar una variedad de tareas de visión, incluyendo tareas de comprensión (como segmentación y detección de puntos clave) y tareas generativas (como edición y mejora). Incluso exhibe la capacidad de manejar tareas no vistas y supera a métodos anteriores en nuevos conjuntos de datos. Esto representa un paso significativo hacia una interfaz de modelado generalista para tareas de visión, avanzando en la inteligencia artificial general en el campo de la visión por computadora.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.