InstructDiffusion : Une interface de modélisation généraliste pour les tâches visuelles

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Auteurs: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Résumé

Nous présentons InstructDiffusion, un cadre unificateur et générique pour aligner les tâches de vision par ordinateur avec des instructions humaines. Contrairement aux approches existantes qui intègrent des connaissances préalables et prédéfinissent l'espace de sortie (par exemple, catégories et coordonnées) pour chaque tâche de vision, nous transformons diverses tâches de vision en un processus intuitif de manipulation d'images dont l'espace de sortie est un espace de pixels flexible et interactif. Concrètement, le modèle est basé sur le processus de diffusion et est entraîné à prédire les pixels selon les instructions de l'utilisateur, comme encadrer en rouge l'épaule gauche de l'homme ou appliquer un masque bleu à la voiture de gauche. InstructDiffusion peut gérer une variété de tâches de vision, y compris des tâches de compréhension (telles que la segmentation et la détection de points clés) et des tâches génératives (telles que l'édition et l'amélioration). Il montre même une capacité à gérer des tâches inédites et surpasse les méthodes précédentes sur de nouveaux ensembles de données. Cela représente une avancée significative vers une interface de modélisation généraliste pour les tâches de vision, faisant progresser l'intelligence artificielle générale dans le domaine de la vision par ordinateur.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.