Визуальное контекстное подсказывание

Visual In-Context Prompting

November 22, 2023

Авторы: Feng Li, Qing Jiang, Hao Zhang, Tianhe Ren, Shilong Liu, Xueyan Zou, Huaizhe Xu, Hongyang Li, Chunyuan Li, Jianwei Yang, Lei Zhang, Jianfeng Gao

cs.AI

Аннотация

Контекстное промптирование в больших языковых моделях (LLMs) стало распространённым подходом для улучшения возможностей в условиях zero-shot, однако эта идея менее исследована в области компьютерного зрения. Существующие методы визуального промптирования сосредоточены на сегментации с указанием для выделения наиболее релевантного объекта, что не позволяет решать многие общие задачи зрения, такие как сегментация и детектирование в условиях открытого множества. В данной статье мы представляем универсальную структуру визуального контекстного промптирования для обеих задач. В частности, мы основываемся на архитектуре "кодировщик-декодировщик" и разрабатываем универсальный кодировщик промптов, поддерживающий различные типы промптов, такие как штрихи, рамки и точки. Мы дополнительно улучшаем его, чтобы он мог принимать произвольное количество сегментов эталонных изображений в качестве контекста. Наши обширные исследования показывают, что предложенное визуальное контекстное промптирование раскрывает выдающиеся возможности для сегментации с указанием и общей сегментации, позволяя эффективно выделять и детектировать объекты, демонстрируя конкурентоспособные результаты на закрытых наборах данных в рамках домена и многообещающие результаты на многих наборах данных для сегментации в условиях открытого множества. Благодаря совместному обучению на COCO и SA-1B, наша модель достигает 57.7 PQ на COCO и 23.2 PQ на ADE20K. Код будет доступен по адресу https://github.com/UX-Decoder/DINOv.

English

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves 57.7 PQ on COCO and 23.2 PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.