Beschreibe Alles: Detaillierte lokalisierte Bild- und Videobeschreibung

Describe Anything: Detailed Localized Image and Video Captioning

April 22, 2025

Autoren: Long Lian, Yifan Ding, Yunhao Ge, Sifei Liu, Hanzi Mao, Boyi Li, Marco Pavone, Ming-Yu Liu, Trevor Darrell, Adam Yala, Yin Cui

cs.AI

Zusammenfassung

Das Erzeugen detaillierter und präziser Beschreibungen für spezifische Regionen in Bildern und Videos bleibt eine grundlegende Herausforderung für Vision-Sprach-Modelle. Wir stellen das Describe Anything Model (DAM) vor, ein Modell, das für detaillierte lokalisierte Bildbeschreibung (Detailed Localized Captioning, DLC) entwickelt wurde. DAM bewahrt sowohl lokale Details als auch den globalen Kontext durch zwei zentrale Innovationen: einen fokalen Prompt, der eine hochauflösende Kodierung der Zielregionen sicherstellt, und ein lokalisiertes Vision-Backbone, das präzise Lokalisierung mit ihrem breiteren Kontext integriert. Um den Mangel an hochwertigen DLC-Daten zu bewältigen, schlagen wir eine halbüberwachte Lernmethode (Semi-supervised Learning, SSL) basierte Datenpipeline (DLC-SDP) vor. DLC-SDP beginnt mit bestehenden Segmentierungsdatensätzen und erweitert diese auf unmarkierte Web-Bilder mithilfe von SSL. Wir führen DLC-Bench ein, einen Benchmark, der entwickelt wurde, um DLC ohne Bezugnahme auf Referenzbeschreibungen zu bewerten. DAM setzt neue Maßstäbe auf 7 Benchmarks, die sich über Schlüsselwort-, Phrasen- und detaillierte mehrsätzige lokalisierte Bild- und Videobeschreibungen erstrecken.

English

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.