Descrivi Qualsiasi Cosa: Didascalie Localizzate e Dettagliate per Immagini e Video

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Autori: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Abstract

Generare descrizioni dettagliate e accurate per regioni specifiche in immagini e video rimane una sfida fondamentale per i modelli di visione e linguaggio. Presentiamo il Describe Anything Model (DAM), un modello progettato per la descrizione localizzata dettagliata (DLC). DAM preserva sia i dettagli locali che il contesto globale attraverso due innovazioni chiave: un prompt focale, che garantisce una codifica ad alta risoluzione delle regioni target, e un backbone visivo localizzato, che integra una localizzazione precisa con il suo contesto più ampio. Per affrontare la scarsità di dati DLC di alta qualità, proponiamo una pipeline di dati basata sull'apprendimento semi-supervisionato (SSL), denominata DLC-SDP. DLC-SDP parte da dataset di segmentazione esistenti e si espande a immagini web non etichettate utilizzando SSL. Introduciamo DLC-Bench, un benchmark progettato per valutare la DLC senza fare affidamento su descrizioni di riferimento. DAM stabilisce nuovi record di stato dell'arte su 7 benchmark che coprono la descrizione localizzata a livello di parola chiave, frase e descrizione multi-frase dettagliata per immagini e video.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.