Prompting Visual In-Contexto

Visual In-Context Prompting

November 22, 2023

Autores: Feng Li, Qing Jiang, Hao Zhang, Tianhe Ren, Shilong Liu, Xueyan Zou, Huaizhe Xu, Hongyang Li, Chunyuan Li, Jianwei Yang, Lei Zhang, Jianfeng Gao

cs.AI

Resumo

O prompting contextual em grandes modelos de linguagem (LLMs) tornou-se uma abordagem prevalente para melhorar as capacidades zero-shot, mas essa ideia é menos explorada no domínio visual. Os métodos existentes de prompting visual focam na segmentação referencial para segmentar o objeto mais relevante, deixando de abordar muitas tarefas visuais genéricas, como segmentação e detecção em conjuntos abertos. Neste artigo, introduzimos um framework universal de prompting visual contextual para ambas as tarefas. Em particular, construímos sobre uma arquitetura de codificador-decodificador e desenvolvemos um codificador de prompts versátil para suportar uma variedade de prompts, como traços, caixas e pontos. Além disso, aprimoramos o sistema para aceitar um número arbitrário de segmentos de imagem de referência como contexto. Nossas extensas explorações mostram que o prompting visual contextual proposto elicita capacidades extraordinárias de segmentação referencial e genérica para referenciar e detectar, alcançando desempenho competitivo em conjuntos de dados de domínio fechado e mostrando resultados promissores em muitos conjuntos de dados de segmentação em conjuntos abertos. Com o treinamento conjunto em COCO e SA-1B, nosso modelo alcança 57,7 PQ no COCO e 23,2 PQ no ADE20K. O código estará disponível em https://github.com/UX-Decoder/DINOv.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.