InstructDiffusion: Een Algemene Modelleringsinterface voor Visuele Taken

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

September 7, 2023

Auteurs: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo

cs.AI

Samenvatting

We presenteren InstructDiffusion, een verenigend en generiek raamwerk voor het afstemmen van computervisietaken op menselijke instructies. In tegenstelling tot bestaande benaderingen die voorkennis integreren en de uitvoerruimte (bijvoorbeeld categorieën en coördinaten) voor elke visietaak vooraf definiëren, vertalen we diverse visietaken naar een mens-intuïtief beeldbewerkingsproces waarvan de uitvoerruimte een flexibele en interactieve pixelruimte is. Concreet is het model gebaseerd op het diffusieproces en wordt het getraind om pixels te voorspellen op basis van gebruikersinstructies, zoals het omcirkelen van de linker schouder van de man in rood of het aanbrengen van een blauw masker op de linker auto. InstructDiffusion kan een verscheidenheid aan visietaken aan, waaronder begripstaken (zoals segmentatie en keypointdetectie) en generatieve taken (zoals bewerken en verbeteren). Het vertoont zelfs de mogelijkheid om onbekende taken aan te kunnen en overtreft eerdere methoden op nieuwe datasets. Dit vertegenwoordigt een belangrijke stap in de richting van een generalistische modelleerinterface voor visietaken, wat een vooruitgang betekent in de richting van kunstmatige algemene intelligentie op het gebied van computervisie.

English

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.