Один патч для всех описаний: унифицированная система генерации подписей с нулевым обучением

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

October 3, 2025

Авторы: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

cs.AI

Аннотация

Модели с нулевым обучением (zero-shot captioners) — это недавно предложенные подходы, которые используют общие пространства визуально-языковых представлений для создания подписей к изображениям без использования парных данных "изображение-текст". Для создания подписи они декодируют текстово-выровненные признаки изображения, но ограничиваются глобальными представлениями и подписями ко всему изображению. Мы представляем унифицированную структуру для создания подписей с нулевым обучением, которая переходит от изображения к патч-ориентированной парадигме, позволяя описывать произвольные области без необходимости обучения на уровне регионов. Вместо использования глобальных представлений изображений мы рассматриваем отдельные патчи как атомарные единицы для создания подписей и объединяем их для описания произвольных областей — от отдельных патчей до несмежных областей и целых изображений. Мы анализируем ключевые компоненты, которые позволяют существующим латентным моделям работать в рамках нашей новой структуры. Эксперименты показывают, что базовые модели, генерирующие осмысленные и плотные визуальные признаки, такие как DINO, являются ключом к достижению наилучших результатов в задачах создания подписей на основе регионов. По сравнению с другими базовыми моделями и современными конкурентами, наши модели демонстрируют более высокую производительность в задачах создания плотных подписей, подписей для наборов регионов и в новой задаче создания подписей по трассировке, подчеркивая эффективность семантических представлений на уровне патчей для масштабируемого создания подписей. Страница проекта: https://paciosoft.com/Patch-ioner/.

English

Zero-shot captioners are recently proposed models that utilize common-space vision-language representations to caption images without relying on paired image-text data. To caption an image, they proceed by textually decoding a text-aligned image feature, but they limit their scope to global representations and whole-image captions. We present , a unified framework for zero-shot captioning that shifts from an image-centric to a patch-centric paradigm, enabling the captioning of arbitrary regions without the need of region-level supervision. Instead of relying on global image representations, we treat individual patches as atomic captioning units and aggregate them to describe arbitrary regions, from single patches to non-contiguous areas and entire images. We analyze the key ingredients that enable current latent captioners to work in our novel proposed framework. Experiments demonstrate that backbones producing meaningful, dense visual features, such as DINO, are key to achieving state-of-the-art performance in multiple region-based captioning tasks. Compared to other baselines and state-of-the-art competitors, our models achieve better performance on zero-shot dense, region-set, and a newly introduced trace captioning task, highlighting the effectiveness of patch-wise semantic representations for scalable caption generation. Project page at https://paciosoft.com/Patch-ioner/ .