Пояснительные инструкции: К пониманию задач обработки изображений и обобщения без обучения

Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization

December 24, 2024

Авторы: Yang Shen, Xiu-Shen Wei, Yifan Sun, Yuxin Song, Tao Yuan, Jian Jin, Heyang Xu, Yazhou Yao, Errui Ding

cs.AI

Аннотация

Компьютерное зрение (CV) до сих пор не достигло полного обобщения задач с нулевым обучением, наблюдаемого в обработке естественного языка (NLP), несмотря на то, что оно следует за многими вехами, установленными в NLP, такими как большие модели трансформеров, обширное предварительное обучение и парадигма авторегрессии, среди прочего. В этой статье мы исследуем идею, что CV принимает дискретные и терминологические определения задач (например, "сегментация изображений"), которые могут быть ключевым барьером для обобщения задач с нулевым обучением. Наша гипотеза заключается в том, что без истинного понимания ранее виденных задач - из-за этих терминологических определений - глубокие модели испытывают затруднения с обобщением на новые задачи. Для проверки этого мы представляем пояснительные инструкции, которые предоставляют интуитивный способ определения целей задач CV через подробные лингвистические преобразования от входных изображений к выходам. Мы создаем крупномасштабный набор данных, включающий 12 миллионов троек "входное изображение - пояснительная инструкция - выход", и обучаем модель зрения-языка на основе авторегрессии (AR-based VLM), которая принимает как изображения, так и пояснительные инструкции в качестве входных данных. Обучаясь следовать этим инструкциям, AR-based VLM достигает возможностей нулевого обучения на уровне инструкций для ранее виденных задач и демонстрирует сильное обобщение на нулевом уровне для невидимых задач CV. Код и набор данных будут открыто доступны в нашем репозитории GitHub.

English

Computer Vision (CV) has yet to fully achieve the zero-shot task generalization observed in Natural Language Processing (NLP), despite following many of the milestones established in NLP, such as large transformer models, extensive pre-training, and the auto-regression paradigm, among others. In this paper, we explore the idea that CV adopts discrete and terminological task definitions (\eg, ``image segmentation''), which may be a key barrier to zero-shot task generalization. Our hypothesis is that without truly understanding previously-seen tasks--due to these terminological definitions--deep models struggle to generalize to novel tasks. To verify this, we introduce Explanatory Instructions, which provide an intuitive way to define CV task objectives through detailed linguistic transformations from input images to outputs. We create a large-scale dataset comprising 12 million ``image input to explanatory instruction to output'' triplets, and train an auto-regressive-based vision-language model (AR-based VLM) that takes both images and explanatory instructions as input. By learning to follow these instructions, the AR-based VLM achieves instruction-level zero-shot capabilities for previously-seen tasks and demonstrates strong zero-shot generalization for unseen CV tasks. Code and dataset will be openly available on our GitHub repository.