Ein Patch für alle Beschreibungen: Ein einheitliches Zero-Shot-Beschreibungsframework

One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework

October 3, 2025

papers.authors: Lorenzo Bianchi, Giacomo Pacini, Fabio Carrara, Nicola Messina, Giuseppe Amato, Fabrizio Falchi

cs.AI

papers.abstract

Zero-Shot-Captioner sind kürzlich vorgeschlagene Modelle, die gemeinsame Vision-Sprache-Repräsentationen nutzen, um Bilder zu beschriften, ohne auf gepaarte Bild-Text-Daten angewiesen zu sein. Um ein Bild zu beschriften, dekodieren sie textuell ein textausgerichtetes Bildmerkmal, beschränken sich jedoch auf globale Repräsentationen und Ganzbild-Beschreibungen. Wir stellen ein einheitliches Framework für Zero-Shot-Captioning vor, das von einem bildzentrierten zu einem patchzentrierten Paradigma wechselt und die Beschreibung beliebiger Regionen ohne regionale Überwachung ermöglicht. Anstatt auf globale Bildrepräsentationen zu setzen, behandeln wir einzelne Patches als atomare Beschreibungseinheiten und aggregieren sie, um beliebige Regionen zu beschreiben – von einzelnen Patches über nicht zusammenhängende Bereiche bis hin zu ganzen Bildern. Wir analysieren die Schlüsselkomponenten, die es aktuellen latenten Captionern ermöglichen, in unserem neu vorgeschlagenen Framework zu funktionieren. Experimente zeigen, dass Backbones, die aussagekräftige, dichte visuelle Merkmale erzeugen, wie DINO, entscheidend für die Erreichung von Spitzenleistungen in mehreren regionsbasierten Beschreibungsaufgaben sind. Im Vergleich zu anderen Baselines und state-of-the-art Konkurrenten erzielen unsere Modelle eine bessere Leistung bei Zero-Shot-Dense-, Region-Set- und einer neu eingeführten Trace-Captioning-Aufgabe, was die Effektivität patchweiser semantischer Repräsentationen für skalierbare Beschreibungserzeugung unterstreicht. Projektseite unter https://paciosoft.com/Patch-ioner/.

English

Zero-shot captioners are recently proposed models that utilize common-space vision-language representations to caption images without relying on paired image-text data. To caption an image, they proceed by textually decoding a text-aligned image feature, but they limit their scope to global representations and whole-image captions. We present , a unified framework for zero-shot captioning that shifts from an image-centric to a patch-centric paradigm, enabling the captioning of arbitrary regions without the need of region-level supervision. Instead of relying on global image representations, we treat individual patches as atomic captioning units and aggregate them to describe arbitrary regions, from single patches to non-contiguous areas and entire images. We analyze the key ingredients that enable current latent captioners to work in our novel proposed framework. Experiments demonstrate that backbones producing meaningful, dense visual features, such as DINO, are key to achieving state-of-the-art performance in multiple region-based captioning tasks. Compared to other baselines and state-of-the-art competitors, our models achieve better performance on zero-shot dense, region-set, and a newly introduced trace captioning task, highlighting the effectiveness of patch-wise semantic representations for scalable caption generation. Project page at https://paciosoft.com/Patch-ioner/ .