Alles in Video Onderschrijven: Fijnmazige Objectgerichte Onderschrijving via Spatiotemporele Multimodale Prompting
Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting
April 7, 2025
Auteurs: Yunlong Tang, Jing Bi, Chao Huang, Susan Liang, Daiki Shimada, Hang Hua, Yunzhong Xiao, Yizhi Song, Pinxin Liu, Mingqian Feng, Junjia Guo, Zhuo Liu, Luchuan Song, Ali Vosoughi, Jinxi He, Liu He, Zeliang Zhang, Jiebo Luo, Chenliang Xu
cs.AI
Samenvatting
We presenteren CAT-V (Caption AnyThing in Video), een trainingsvrij raamwerk voor fijnmazige, objectgerichte videobeschrijvingen dat gedetailleerde beschrijvingen mogelijk maakt van door de gebruiker geselecteerde objecten over tijd. CAT-V integreert drie belangrijke componenten: een Segmenter gebaseerd op SAMURAI voor nauwkeurige objectsegmentatie over frames, een Temporal Analyzer aangedreven door TRACE-Uni voor precieze detectie van gebeurtenisgrenzen en temporele analyse, en een Captioner die gebruikmaakt van InternVL-2.5 voor het genereren van gedetailleerde, objectgerichte beschrijvingen. Door middel van spatiotemporele visuele prompts en keten-van-gedachte-redenering genereert ons raamwerk gedetailleerde, temporeel bewuste beschrijvingen van objectattributen, acties, statussen, interacties en omgevingscontexten zonder aanvullende trainingsdata te vereisen. CAT-V ondersteunt flexibele gebruikersinteracties via diverse visuele prompts (punten, begrenzingsvakken en onregelmatige regio's) en behoudt temporele gevoeligheid door objecttoestanden en interacties over verschillende tijdsegmenten te volgen. Onze aanpak adresseert beperkingen van bestaande videobeschrijvingsmethoden, die ofwel te abstracte beschrijvingen produceren of een gebrek hebben aan objectnauwkeurigheid, waardoor fijnmazige, object-specifieke beschrijvingen mogelijk worden terwijl temporele samenhang en ruimtelijke nauwkeurigheid behouden blijven. De GitHub-repository voor dit project is beschikbaar op https://github.com/yunlong10/CAT-V.
English
We present CAT-V (Caption AnyThing in Video), a training-free framework for
fine-grained object-centric video captioning that enables detailed descriptions
of user-selected objects through time. CAT-V integrates three key components: a
Segmenter based on SAMURAI for precise object segmentation across frames, a
Temporal Analyzer powered by TRACE-Uni for accurate event boundary detection
and temporal analysis, and a Captioner using InternVL-2.5 for generating
detailed object-centric descriptions. Through spatiotemporal visual prompts and
chain-of-thought reasoning, our framework generates detailed, temporally-aware
descriptions of objects' attributes, actions, statuses, interactions, and
environmental contexts without requiring additional training data. CAT-V
supports flexible user interactions through various visual prompts (points,
bounding boxes, and irregular regions) and maintains temporal sensitivity by
tracking object states and interactions across different time segments. Our
approach addresses limitations of existing video captioning methods, which
either produce overly abstract descriptions or lack object-level precision,
enabling fine-grained, object-specific descriptions while maintaining temporal
coherence and spatial accuracy. The GitHub repository for this project is
available at https://github.com/yunlong10/CAT-V