Извлекать и сегментировать: достаточно ли нескольких примеров для преодоления разрыва в обучении при сегментации с открытым словарем?

Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?

February 26, 2026

Авторы: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

cs.AI

Аннотация

Сегментация с открытым словарем (OVS) расширяет возможности моделей «визуальный язык» (VLMs) по распознаванию в режиме zero-shot до уровня пиксельных предсказаний, позволяя сегментировать произвольные категории, задаваемые текстовыми запросами. Несмотря на недавний прогресс, OVS отстает от полностью контролируемых подходов из-за двух проблем: грубой обучающей разметки на уровне изображений, используемой для обучения VLMs, и семантической неоднозначности естественного языка. Мы устраняем эти ограничения, вводя режим few-shot, который дополняет текстовые запросы набором поддержки — изображениями с пиксельной разметкой. На основе этого мы предлагаем адаптер с retrieval-усилением на этапе тестирования, который обучает легковесный классификатор для каждого изображения путем слияния текстовых и визуальных признаков из набора поддержки. В отличие от предыдущих методов, основанных на позднем, ручном слиянии, наш подход выполняет обучаемое слияние для каждого запроса, достигая более сильного синергизма между модальностями. Метод поддерживает постоянно расширяющиеся наборы поддержки и применим к узкоспециализированным задачам, таким как персонализированная сегментация. Эксперименты показывают, что мы значительно сокращаем разрыв между zero-shot и контролируемой сегментацией, сохраняя способность к работе с открытым словарем.

English

Open-vocabulary segmentation (OVS) extends the zero-shot recognition capabilities of vision-language models (VLMs) to pixel-level prediction, enabling segmentation of arbitrary categories specified by text prompts. Despite recent progress, OVS lags behind fully supervised approaches due to two challenges: the coarse image-level supervision used to train VLMs and the semantic ambiguity of natural language. We address these limitations by introducing a few-shot setting that augments textual prompts with a support set of pixel-annotated images. Building on this, we propose a retrieval-augmented test-time adapter that learns a lightweight, per-image classifier by fusing textual and visual support features. Unlike prior methods relying on late, hand-crafted fusion, our approach performs learned, per-query fusion, achieving stronger synergy between modalities. The method supports continually expanding support sets, and applies to fine-grained tasks such as personalized segmentation. Experiments show that we significantly narrow the gap between zero-shot and supervised segmentation while preserving open-vocabulary ability.