Décrire Tout : Génération Localisée et Détaillée de Légendes pour Images et Vidéos

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Auteurs: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Résumé

Générer des descriptions détaillées et précises pour des régions spécifiques dans les images et les vidéos reste un défi fondamental pour les modèles vision-langage. Nous présentons le Describe Anything Model (DAM), un modèle conçu pour le sous-titrage localisé détaillé (Detailed Localized Captioning, DLC). DAM préserve à la fois les détails locaux et le contexte global grâce à deux innovations clés : un prompt focal, qui garantit un encodage haute résolution des régions ciblées, et un backbone visuel localisé, qui intègre une localisation précise avec son contexte plus large. Pour remédier à la rareté des données DLC de haute qualité, nous proposons un pipeline de données basé sur l'apprentissage semi-supervisé (Semi-supervised Learning, SSL) (DLC-SDP). DLC-SDP commence avec des ensembles de données de segmentation existants et s'étend à des images web non étiquetées en utilisant SSL. Nous introduisons DLC-Bench, un benchmark conçu pour évaluer le DLC sans s'appuyer sur des descriptions de référence. DAM établit de nouveaux records sur 7 benchmarks couvrant le sous-titrage localisé au niveau des mots-clés, des phrases et des descriptions multi-phrases détaillées pour les images et les vidéos.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.