Eén Patch om Ze Allemaal te Beschrijven: Een Geünificeerd Zero-Shot Beschrijvingsframework

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

October 3, 2025

Auteurs: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

cs.AI

Samenvatting

Zero-shot captioners zijn recent voorgestelde modellen die gebruikmaken van gemeenschappelijke visie-taalrepresentaties om afbeeldingen te beschrijven zonder te vertrouwen op gepaarde afbeelding-tekstgegevens. Om een afbeelding te beschrijven, decoderen ze tekstueel een tekst-uitgelijnde afbeeldingsfeature, maar ze beperken hun scope tot globale representaties en beschrijvingen van de hele afbeelding. Wij presenteren , een uniform raamwerk voor zero-shot captioning dat verschuift van een afbeeldingsgericht naar een patchgericht paradigma, waardoor het mogelijk wordt om willekeurige regio's te beschrijven zonder de noodzaak van regiogebonden supervisie. In plaats van te vertrouwen op globale afbeeldingsrepresentaties, behandelen we individuele patches als atomische captioning-eenheden en aggregeren we deze om willekeurige regio's te beschrijven, van enkele patches tot niet-aaneengesloten gebieden en volledige afbeeldingen. We analyseren de belangrijkste ingrediënten die huidige latente captioners in staat stellen om te werken binnen ons nieuw voorgestelde raamwerk. Experimenten tonen aan dat backbones die betekenisvolle, dichte visuele features produceren, zoals DINO, essentieel zijn om state-of-the-art prestaties te behalen in meerdere regiogebonden captioning-taken. In vergelijking met andere baselines en state-of-the-art concurrenten, behalen onze modellen betere prestaties op zero-shot dense, region-set en een nieuw geïntroduceerde trace captioning-taak, wat de effectiviteit van patchgewijze semantische representaties voor schaalbare caption-generatie benadrukt. Projectpagina op https://paciosoft.com/Patch-ioner/ .

English

Zero-shot captioners are recently proposed models that utilize common-space vision-language representations to caption images without relying on paired image-text data. To caption an image, they proceed by textually decoding a text-aligned image feature, but they limit their scope to global representations and whole-image captions. We present , a unified framework for zero-shot captioning that shifts from an image-centric to a patch-centric paradigm, enabling the captioning of arbitrary regions without the need of region-level supervision. Instead of relying on global image representations, we treat individual patches as atomic captioning units and aggregate them to describe arbitrary regions, from single patches to non-contiguous areas and entire images. We analyze the key ingredients that enable current latent captioners to work in our novel proposed framework. Experiments demonstrate that backbones producing meaningful, dense visual features, such as DINO, are key to achieving state-of-the-art performance in multiple region-based captioning tasks. Compared to other baselines and state-of-the-art competitors, our models achieve better performance on zero-shot dense, region-set, and a newly introduced trace captioning task, highlighting the effectiveness of patch-wise semantic representations for scalable caption generation. Project page at https://paciosoft.com/Patch-ioner/ .