Invite visuelle en contexte

papers.abstract

L'utilisation de prompts contextuels dans les grands modèles de langage (LLM) est devenue une approche répandue pour améliorer les capacités en zero-shot, mais cette idée est moins explorée dans le domaine visuel. Les méthodes existantes de prompting visuel se concentrent sur la segmentation référentielle pour segmenter l'objet le plus pertinent, sans toutefois répondre à de nombreuses tâches visuelles génériques comme la segmentation en ensemble ouvert et la détection. Dans cet article, nous introduisons un cadre universel de prompting visuel contextuel pour ces deux tâches. Plus précisément, nous nous appuyons sur une architecture encodeur-décodeur et développons un encodeur de prompts polyvalent pour prendre en charge une variété de prompts tels que des traits, des boîtes et des points. Nous l'améliorons en outre pour qu'il puisse intégrer un nombre arbitraire de segments d'images de référence comme contexte. Nos explorations approfondies montrent que le prompting visuel contextuel proposé suscite des capacités extraordinaires de segmentation référentielle et générique pour référencer et détecter, obtenant des performances compétitives sur des ensembles de données fermés dans le domaine et des résultats prometteurs sur de nombreux ensembles de données de segmentation en ensemble ouvert. Grâce à un entraînement conjoint sur COCO et SA-1B, notre modèle atteint 57,7 PQ sur COCO et 23,2 PQ sur ADE20K. Le code sera disponible à l'adresse https://github.com/UX-Decoder/DINOv.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.

Invite visuelle en contexte

Visual In-Context Prompting

papers.abstract

Support