Un Parche para Captionarlos a Todos: Un Marco Unificado de Generación de Subtítulos en Modo Cero-Shot

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

October 3, 2025

Autores: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

cs.AI

Resumen

Los modelos de generación de descripciones (captioners) zero-shot son propuestas recientes que utilizan representaciones visión-lenguaje en un espacio común para describir imágenes sin depender de datos emparejados de imagen-texto. Para generar una descripción de una imagen, estos modelos decodifican textualmente una característica de imagen alineada con texto, pero limitan su alcance a representaciones globales y descripciones de la imagen completa. Presentamos , un marco unificado para la generación de descripciones zero-shot que cambia de un paradigma centrado en la imagen a uno centrado en parches, permitiendo la descripción de regiones arbitrarias sin necesidad de supervisión a nivel de región. En lugar de depender de representaciones globales de la imagen, tratamos los parches individuales como unidades atómicas de descripción y los agregamos para describir regiones arbitrarias, desde parches individuales hasta áreas no contiguas e imágenes completas. Analizamos los componentes clave que permiten a los modelos de descripción latente funcionar en nuestro nuevo marco propuesto. Los experimentos demuestran que arquitecturas que producen características visuales densas y significativas, como DINO, son fundamentales para alcanzar un rendimiento de vanguardia en múltiples tareas de descripción basadas en regiones. En comparación con otros modelos de referencia y competidores de última generación, nuestros modelos logran un mejor rendimiento en tareas zero-shot de descripción densa, de conjuntos de regiones y en una nueva tarea de descripción de trazas, destacando la efectividad de las representaciones semánticas basadas en parches para la generación escalable de descripciones. Página del proyecto en https://paciosoft.com/Patch-ioner/.

English

Zero-shot captioners are recently proposed models that utilize common-space vision-language representations to caption images without relying on paired image-text data. To caption an image, they proceed by textually decoding a text-aligned image feature, but they limit their scope to global representations and whole-image captions. We present , a unified framework for zero-shot captioning that shifts from an image-centric to a patch-centric paradigm, enabling the captioning of arbitrary regions without the need of region-level supervision. Instead of relying on global image representations, we treat individual patches as atomic captioning units and aggregate them to describe arbitrary regions, from single patches to non-contiguous areas and entire images. We analyze the key ingredients that enable current latent captioners to work in our novel proposed framework. Experiments demonstrate that backbones producing meaningful, dense visual features, such as DINO, are key to achieving state-of-the-art performance in multiple region-based captioning tasks. Compared to other baselines and state-of-the-art competitors, our models achieve better performance on zero-shot dense, region-set, and a newly introduced trace captioning task, highlighting the effectiveness of patch-wise semantic representations for scalable caption generation. Project page at https://paciosoft.com/Patch-ioner/ .