Describe Anything: Generación Detallada y Localizada de Descripciones para Imágenes y Videos

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Autores: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Resumen

Generar descripciones detalladas y precisas para regiones específicas en imágenes y videos sigue siendo un desafío fundamental para los modelos de visión y lenguaje. Presentamos el Modelo Describe Anything (DAM, por sus siglas en inglés), un modelo diseñado para la generación de subtítulos localizados detallados (DLC, por sus siglas en inglés). DAM preserva tanto los detalles locales como el contexto global mediante dos innovaciones clave: un prompt focal, que asegura una codificación de alta resolución de las regiones objetivo, y un backbone de visión localizado, que integra la localización precisa con su contexto más amplio. Para abordar la escasez de datos de alta calidad en DLC, proponemos un Pipeline de Datos basado en Aprendizaje Semi-supervisado (SSL, por sus siglas en inglés) (DLC-SDP). DLC-SDP comienza con conjuntos de datos de segmentación existentes y se expande a imágenes web no etiquetadas utilizando SSL. Introducimos DLC-Bench, un benchmark diseñado para evaluar DLC sin depender de subtítulos de referencia. DAM establece un nuevo estado del arte en 7 benchmarks que abarcan la generación de subtítulos localizados a nivel de palabras clave, frases y descripciones detalladas de múltiples oraciones en imágenes y videos.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.