Inducción Visual en Contexto

Visual In-Context Prompting

November 22, 2023

Autores: Feng Li, Qing Jiang, Hao Zhang, Tianhe Ren, Shilong Liu, Xueyan Zou, Huaizhe Xu, Hongyang Li, Chunyuan Li, Jianwei Yang, Lei Zhang, Jianfeng Gao

cs.AI

Resumen

El uso de indicaciones en contexto (in-context prompting) en modelos de lenguaje de gran escala (LLMs) se ha convertido en un enfoque predominante para mejorar las capacidades de cero disparos (zero-shot), pero esta idea ha sido menos explorada en el dominio visual. Los métodos existentes de indicación visual se centran en la segmentación referencial para segmentar el objeto más relevante, quedándose cortos al abordar muchas tareas genéricas de visión, como la segmentación y detección en conjuntos abiertos (open-set). En este artículo, presentamos un marco universal de indicación visual en contexto para ambas tareas. En particular, nos basamos en una arquitectura de codificador-decodificador y desarrollamos un codificador de indicaciones versátil para admitir una variedad de indicaciones, como trazos, cuadros y puntos. Además, lo mejoramos para que acepte un número arbitrario de segmentos de imágenes de referencia como contexto. Nuestras extensas exploraciones muestran que la indicación visual en contexto propuesta despierta capacidades extraordinarias de segmentación referencial y genérica para referenciar y detectar, logrando un rendimiento competitivo en conjuntos de datos cerrados dentro del dominio y mostrando resultados prometedores en muchos conjuntos de datos de segmentación en conjuntos abiertos. Mediante el entrenamiento conjunto en COCO y SA-1B, nuestro modelo alcanza 57.7 PQ en COCO y 23.2 PQ en ADE20K. El código estará disponible en https://github.com/UX-Decoder/DINOv.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.