Décrire tout dans une vidéo : Génération de légendes centrées sur les objets à granularité fine via un prompt multimodal spatiotemporel

Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting

April 7, 2025

Auteurs: Yunlong Tang, Jing Bi, Chao Huang, Susan Liang, Daiki Shimada, Hang Hua, Yunzhong Xiao, Yizhi Song, Pinxin Liu, Mingqian Feng, Junjia Guo, Zhuo Liu, Luchuan Song, Ali Vosoughi, Jinxi He, Liu He, Zeliang Zhang, Jiebo Luo, Chenliang Xu

cs.AI

Résumé

Nous présentons CAT-V (Caption AnyThing in Video), un cadre sans apprentissage pour la génération de descriptions vidéo centrées sur des objets à granularité fine, permettant des descriptions détaillées d'objets sélectionnés par l'utilisateur au fil du temps. CAT-V intègre trois composants clés : un Segmenter basé sur SAMURAI pour une segmentation précise des objets à travers les images, un Analyseur Temporel alimenté par TRACE-Uni pour la détection précise des limites d'événements et l'analyse temporelle, et un Générateur de Légendes utilisant InternVL-2.5 pour produire des descriptions détaillées centrées sur les objets. Grâce à des invites visuelles spatiotemporelles et un raisonnement en chaîne de pensée, notre cadre génère des descriptions détaillées et temporellement conscientes des attributs, actions, états, interactions et contextes environnementaux des objets, sans nécessiter de données d'apprentissage supplémentaires. CAT-V prend en charge des interactions utilisateur flexibles via diverses invites visuelles (points, boîtes englobantes et régions irrégulières) et maintient une sensibilité temporelle en suivant les états et interactions des objets à travers différents segments temporels. Notre approche répond aux limites des méthodes existantes de légendage vidéo, qui produisent soit des descriptions trop abstraites, soit manquent de précision au niveau des objets, en permettant des descriptions spécifiques et à granularité fine tout en conservant la cohérence temporelle et la précision spatiale. Le dépôt GitHub de ce projet est disponible à l'adresse suivante : https://github.com/yunlong10/CAT-V.

English

We present CAT-V (Caption AnyThing in Video), a training-free framework for fine-grained object-centric video captioning that enables detailed descriptions of user-selected objects through time. CAT-V integrates three key components: a Segmenter based on SAMURAI for precise object segmentation across frames, a Temporal Analyzer powered by TRACE-Uni for accurate event boundary detection and temporal analysis, and a Captioner using InternVL-2.5 for generating detailed object-centric descriptions. Through spatiotemporal visual prompts and chain-of-thought reasoning, our framework generates detailed, temporally-aware descriptions of objects' attributes, actions, statuses, interactions, and environmental contexts without requiring additional training data. CAT-V supports flexible user interactions through various visual prompts (points, bounding boxes, and irregular regions) and maintains temporal sensitivity by tracking object states and interactions across different time segments. Our approach addresses limitations of existing video captioning methods, which either produce overly abstract descriptions or lack object-level precision, enabling fine-grained, object-specific descriptions while maintaining temporal coherence and spatial accuracy. The GitHub repository for this project is available at https://github.com/yunlong10/CAT-V