Descreva Qualquer Coisa: Legendagem Detalhada e Localizada de Imagens e Vídeos

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Autores: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Resumo

Gerar descrições detalhadas e precisas para regiões específicas em imagens e vídeos continua sendo um desafio fundamental para os modelos de visão e linguagem. Apresentamos o Describe Anything Model (DAM), um modelo projetado para legendagem localizada detalhada (DLC). O DAM preserva tanto os detalhes locais quanto o contexto global por meio de duas inovações principais: um prompt focal, que garante uma codificação de alta resolução das regiões alvo, e um backbone de visão localizada, que integra a localização precisa com seu contexto mais amplo. Para enfrentar a escassez de dados de alta qualidade para DLC, propomos um Pipeline de Dados baseado em Aprendizado Semi-supervisionado (SSL), denominado DLC-SDP. O DLC-SDP começa com conjuntos de dados de segmentação existentes e se expande para imagens da web não rotuladas usando SSL. Introduzimos o DLC-Bench, um benchmark projetado para avaliar DLC sem depender de legendas de referência. O DAM estabelece novos recordes de estado da arte em 7 benchmarks que abrangem legendagem localizada em nível de palavra-chave, frase e múltiplas sentenças detalhadas para imagens e vídeos.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.