Instrucciones Explicativas: Hacia la Comprensión de Tareas de Visión Unificadas y Generalización sin Entrenamiento

Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization

December 24, 2024

Autores: Yang Shen, Xiu-Shen Wei, Yifan Sun, Yuxin Song, Tao Yuan, Jian Jin, Heyang Xu, Yazhou Yao, Errui Ding

cs.AI

Resumen

La Visión por Computadora (CV) aún no ha logrado completamente la generalización de tareas de cero disparo observada en el Procesamiento de Lenguaje Natural (NLP), a pesar de seguir muchos de los hitos establecidos en NLP, como grandes modelos transformadores, extenso pre-entrenamiento y el paradigma de auto-regresión, entre otros. En este artículo, exploramos la idea de que CV adopta definiciones de tareas discretas y terminológicas (por ejemplo, "segmentación de imágenes"), lo cual puede ser una barrera clave para la generalización de tareas de cero disparo. Nuestra hipótesis es que sin comprender verdaderamente las tareas previamente vistas, debido a estas definiciones terminológicas, los modelos profundos tienen dificultades para generalizar a tareas nuevas. Para verificar esto, introducimos Instrucciones Explicativas, que proporcionan una forma intuitiva de definir los objetivos de las tareas de CV a través de transformaciones lingüísticas detalladas desde las imágenes de entrada hasta las salidas. Creamos un conjunto de datos a gran escala que comprende 12 millones de tripletes "imagen de entrada a instrucción explicativa a salida" y entrenamos un modelo de visión-lenguaje basado en auto-regresión (AR-based VLM) que toma tanto imágenes como instrucciones explicativas como entrada. Al aprender a seguir estas instrucciones, el AR-based VLM logra capacidades de cero disparo a nivel de instrucción para tareas previamente vistas y demuestra una fuerte generalización de cero disparo para tareas de CV no vistas. El código y el conjunto de datos estarán disponibles abiertamente en nuestro repositorio de GitHub.

English

Computer Vision (CV) has yet to fully achieve the zero-shot task generalization observed in Natural Language Processing (NLP), despite following many of the milestones established in NLP, such as large transformer models, extensive pre-training, and the auto-regression paradigm, among others. In this paper, we explore the idea that CV adopts discrete and terminological task definitions (\eg, ``image segmentation''), which may be a key barrier to zero-shot task generalization. Our hypothesis is that without truly understanding previously-seen tasks--due to these terminological definitions--deep models struggle to generalize to novel tasks. To verify this, we introduce Explanatory Instructions, which provide an intuitive way to define CV task objectives through detailed linguistic transformations from input images to outputs. We create a large-scale dataset comprising 12 million ``image input to explanatory instruction to output'' triplets, and train an auto-regressive-based vision-language model (AR-based VLM) that takes both images and explanatory instructions as input. By learning to follow these instructions, the AR-based VLM achieves instruction-level zero-shot capabilities for previously-seen tasks and demonstrates strong zero-shot generalization for unseen CV tasks. Code and dataset will be openly available on our GitHub repository.