Erklärende Anweisungen: Hin zu einem einheitlichen Verständnis von Sehaufgaben und Null-Schuss Generalisierung

Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization

December 24, 2024

Autoren: Yang Shen, Xiu-Shen Wei, Yifan Sun, Yuxin Song, Tao Yuan, Jian Jin, Heyang Xu, Yazhou Yao, Errui Ding

cs.AI

Zusammenfassung

Die Computer Vision (CV) hat bisher noch nicht die Null-Schuss-Aufgabenverallgemeinerung erreicht, die in der Natural Language Processing (NLP) beobachtet wurde, obwohl sie viele der Meilensteine in der NLP befolgt, wie z.B. große Transformer-Modelle, umfangreiches Pre-Training und das Auto-Regression-Paradigma, unter anderem. In diesem Paper untersuchen wir die Idee, dass die CV diskrete und terminologische Aufgabendefinitionen (z.B. "Bildsegmentierung") übernimmt, die ein wesentliches Hindernis für die Null-Schuss-Aufgabenverallgemeinerung darstellen könnten. Unsere Hypothese besagt, dass tiefe Modelle aufgrund dieser terminologischen Definitionen Schwierigkeiten haben, zu neuen Aufgaben zu generalisieren, da sie zuvor gesehene Aufgaben nicht wirklich verstehen. Um dies zu überprüfen, führen wir Erklärende Anweisungen ein, die eine intuitive Möglichkeit bieten, CV-Aufgabenziele durch detaillierte sprachliche Transformationen von Eingabebildern zu Ausgaben zu definieren. Wir erstellen einen Datensatz im großen Maßstab, der 12 Millionen "Bild-Eingabe zu erklärender Anweisung zu Ausgabe"-Triplets umfasst, und trainieren ein auf Auto-Regression basierendes Modell für Bildsprache (AR-basiertes VLM), das sowohl Bilder als auch erklärende Anweisungen als Eingabe erhält. Indem es lernt, diesen Anweisungen zu folgen, erreicht das AR-basierte VLM eine Null-Schuss-Fähigkeit auf Anweisungsebene für zuvor gesehene Aufgaben und zeigt eine starke Null-Schuss-Verallgemeinerung für ungesehene CV-Aufgaben. Der Code und der Datensatz werden in unserem GitHub-Repository öffentlich verfügbar sein.

English

Computer Vision (CV) has yet to fully achieve the zero-shot task generalization observed in Natural Language Processing (NLP), despite following many of the milestones established in NLP, such as large transformer models, extensive pre-training, and the auto-regression paradigm, among others. In this paper, we explore the idea that CV adopts discrete and terminological task definitions (\eg, ``image segmentation''), which may be a key barrier to zero-shot task generalization. Our hypothesis is that without truly understanding previously-seen tasks--due to these terminological definitions--deep models struggle to generalize to novel tasks. To verify this, we introduce Explanatory Instructions, which provide an intuitive way to define CV task objectives through detailed linguistic transformations from input images to outputs. We create a large-scale dataset comprising 12 million ``image input to explanatory instruction to output'' triplets, and train an auto-regressive-based vision-language model (AR-based VLM) that takes both images and explanatory instructions as input. By learning to follow these instructions, the AR-based VLM achieves instruction-level zero-shot capabilities for previously-seen tasks and demonstrates strong zero-shot generalization for unseen CV tasks. Code and dataset will be openly available on our GitHub repository.