Prompting Visivo In-Contesto

Abstract

Il prompting in-context nei grandi modelli linguistici (LLM) è diventato un approccio diffuso per migliorare le capacità zero-shot, ma questa idea è meno esplorata nel dominio visivo. I metodi esistenti di prompting visivo si concentrano sulla segmentazione referenziale per isolare l'oggetto più rilevante, risultando insufficienti per affrontare molti compiti generici di visione come la segmentazione e il rilevamento in contesti open-set. In questo articolo, introduciamo un framework universale di prompting visivo in-context per entrambi i compiti. In particolare, ci basiamo su un'architettura encoder-decoder e sviluppiamo un prompt encoder versatile in grado di supportare una varietà di prompt come tratti, riquadri e punti. Lo miglioriamo ulteriormente per accettare un numero arbitrario di segmenti di immagini di riferimento come contesto. Le nostre ampie esplorazioni dimostrano che il prompting visivo in-context proposto stimola capacità straordinarie di segmentazione referenziale e generica per riferire e rilevare, ottenendo prestazioni competitive su dataset in-domain a set chiuso e mostrando risultati promettenti su molti dataset di segmentazione open-set. Addestrando congiuntamente su COCO e SA-1B, il nostro modello raggiunge 57.7 PQ su COCO e 23.2 PQ su ADE20K. Il codice sarà disponibile su https://github.com/UX-Decoder/DINOv.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.

Prompting Visivo In-Contesto

Visual In-Context Prompting

Abstract

Support