Um Único Patch para Descrevê-los Todos: Um Framework Unificado de Descrição em Zero-Shot

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

October 3, 2025

Autores: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

cs.AI

Resumo

Modelos de descrição de imagens zero-shot são propostos recentemente como abordagens que utilizam representações visão-linguagem em um espaço comum para descrever imagens sem depender de dados pareados de imagem-texto. Para descrever uma imagem, eles decodificam textualmente uma característica de imagem alinhada com texto, mas limitam seu escopo a representações globais e descrições da imagem inteira. Apresentamos , um framework unificado para descrição zero-shot que muda de um paradigma centrado na imagem para um paradigma centrado em patches, permitindo a descrição de regiões arbitrárias sem a necessidade de supervisão em nível de região. Em vez de depender de representações globais da imagem, tratamos patches individuais como unidades atômicas de descrição e os agregamos para descrever regiões arbitrárias, desde patches únicos até áreas não contíguas e imagens inteiras. Analisamos os elementos-chave que permitem que os modelos latentes de descrição atuais funcionem em nosso novo framework proposto. Experimentos demonstram que backbones que produzem características visuais densas e significativas, como o DINO, são essenciais para alcançar desempenho de ponta em múltiplas tarefas de descrição baseada em regiões. Comparados a outras linhas de base e competidores de última geração, nossos modelos alcançam melhor desempenho em tarefas zero-shot de descrição densa, descrição de conjuntos de regiões e uma nova tarefa de descrição por traçado, destacando a eficácia das representações semânticas baseadas em patches para a geração escalável de descrições. Página do projeto em https://paciosoft.com/Patch-ioner/ .

English

Zero-shot captioners are recently proposed models that utilize common-space vision-language representations to caption images without relying on paired image-text data. To caption an image, they proceed by textually decoding a text-aligned image feature, but they limit their scope to global representations and whole-image captions. We present , a unified framework for zero-shot captioning that shifts from an image-centric to a patch-centric paradigm, enabling the captioning of arbitrary regions without the need of region-level supervision. Instead of relying on global image representations, we treat individual patches as atomic captioning units and aggregate them to describe arbitrary regions, from single patches to non-contiguous areas and entire images. We analyze the key ingredients that enable current latent captioners to work in our novel proposed framework. Experiments demonstrate that backbones producing meaningful, dense visual features, such as DINO, are key to achieving state-of-the-art performance in multiple region-based captioning tasks. Compared to other baselines and state-of-the-art competitors, our models achieve better performance on zero-shot dense, region-set, and a newly introduced trace captioning task, highlighting the effectiveness of patch-wise semantic representations for scalable caption generation. Project page at https://paciosoft.com/Patch-ioner/ .