Alles im Video beschreiben: Fein abgestimmte objektzentrierte Beschreibung durch raumzeitliche multimodale Prompting

Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting

April 7, 2025

Autoren: Yunlong Tang, Jing Bi, Chao Huang, Susan Liang, Daiki Shimada, Hang Hua, Yunzhong Xiao, Yizhi Song, Pinxin Liu, Mingqian Feng, Junjia Guo, Zhuo Liu, Luchuan Song, Ali Vosoughi, Jinxi He, Liu He, Zeliang Zhang, Jiebo Luo, Chenliang Xu

cs.AI

Zusammenfassung

Wir präsentieren CAT-V (Caption AnyThing in Video), ein trainingsfreies Framework für feinkörnige, objektzentrierte Videobeschriftung, das detaillierte Beschreibungen von benutzerdefinierten Objekten über die Zeit ermöglicht. CAT-V integriert drei Schlüsselkomponenten: einen Segmentierer basierend auf SAMURAI für präzise Objektsegmentierung über Frames hinweg, einen Temporal Analyzer, der von TRACE-Uni angetrieben wird, für die genaue Erkennung von Ereignisgrenzen und temporale Analyse, sowie einen Captioner, der InternVL-2.5 verwendet, um detaillierte objektzentrierte Beschreibungen zu generieren. Durch räumlich-zeitliche visuelle Prompts und Chain-of-Thought-Reasoning erzeugt unser Framework detaillierte, zeitlich bewusste Beschreibungen von Objektattributen, Aktionen, Zuständen, Interaktionen und Umgebungskontexten, ohne zusätzliche Trainingsdaten zu benötigen. CAT-V unterstützt flexible Benutzerinteraktionen durch verschiedene visuelle Prompts (Punkte, Begrenzungsrahmen und unregelmäßige Regionen) und bewahrt die zeitliche Sensitivität, indem es Objektzustände und Interaktionen über verschiedene Zeitsegmente hinweg verfolgt. Unser Ansatz adressiert die Einschränkungen bestehender Videobeschriftungsmethoden, die entweder zu abstrakte Beschreibungen liefern oder an Objektpräzision mangeln, und ermöglicht feinkörnige, objektspezifische Beschreibungen bei gleichzeitiger Wahrung der zeitlichen Kohärenz und räumlichen Genauigkeit. Das GitHub-Repository für dieses Projekt ist verfügbar unter https://github.com/yunlong10/CAT-V.

English

We present CAT-V (Caption AnyThing in Video), a training-free framework for fine-grained object-centric video captioning that enables detailed descriptions of user-selected objects through time. CAT-V integrates three key components: a Segmenter based on SAMURAI for precise object segmentation across frames, a Temporal Analyzer powered by TRACE-Uni for accurate event boundary detection and temporal analysis, and a Captioner using InternVL-2.5 for generating detailed object-centric descriptions. Through spatiotemporal visual prompts and chain-of-thought reasoning, our framework generates detailed, temporally-aware descriptions of objects' attributes, actions, statuses, interactions, and environmental contexts without requiring additional training data. CAT-V supports flexible user interactions through various visual prompts (points, bounding boxes, and irregular regions) and maintains temporal sensitivity by tracking object states and interactions across different time segments. Our approach addresses limitations of existing video captioning methods, which either produce overly abstract descriptions or lack object-level precision, enabling fine-grained, object-specific descriptions while maintaining temporal coherence and spatial accuracy. The GitHub repository for this project is available at https://github.com/yunlong10/CAT-V