Visuelles In-Context-Prompting

Zusammenfassung

In-Context-Prompting bei großen Sprachmodellen (LLMs) hat sich zu einem weit verbreiteten Ansatz entwickelt, um Zero-Shot-Fähigkeiten zu verbessern, doch dieser Ansatz ist im visuellen Bereich weniger erforscht. Bestehende Methoden des visuellen Promptings konzentrieren sich auf Referenzsegmentierung, um das relevanteste Objekt zu segmentieren, was jedoch viele generische Vision-Aufgaben wie Open-Set-Segmentierung und -Detektion nicht ausreichend adressiert. In diesem Artikel stellen wir ein universelles visuelles In-Context-Prompting-Framework für beide Aufgaben vor. Insbesondere bauen wir auf einer Encoder-Decoder-Architektur auf und entwickeln einen vielseitigen Prompt-Encoder, der eine Vielzahl von Prompts wie Striche, Rahmen und Punkte unterstützt. Wir erweitern ihn weiter, um eine beliebige Anzahl von Referenzbildsegmenten als Kontext zu verwenden. Unsere umfangreichen Untersuchungen zeigen, dass das vorgeschlagene visuelle In-Context-Prompting außergewöhnliche Referenz- und generische Segmentierungsfähigkeiten zur Referenzierung und Detektion hervorruft, was zu wettbewerbsfähigen Leistungen bei Close-Set-In-Domain-Datensätzen führt und vielversprechende Ergebnisse bei vielen Open-Set-Segmentierungsdatensätzen zeigt. Durch gemeinsames Training auf COCO und SA-1B erreicht unser Modell 57,7 PQ auf COCO und 23,2 PQ auf ADE20K. Der Code wird unter https://github.com/UX-Decoder/DINOv verfügbar sein.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.

Visuelles In-Context-Prompting

Visual In-Context Prompting

Zusammenfassung

Support