Captiona Cualquier Cosa en Video: Descripción Centrada en Objetos de Granularidad Fina mediante Indicación Espaciotemporal Multimodal

Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting

April 7, 2025

Autores: Yunlong Tang, Jing Bi, Chao Huang, Susan Liang, Daiki Shimada, Hang Hua, Yunzhong Xiao, Yizhi Song, Pinxin Liu, Mingqian Feng, Junjia Guo, Zhuo Liu, Luchuan Song, Ali Vosoughi, Jinxi He, Liu He, Zeliang Zhang, Jiebo Luo, Chenliang Xu

cs.AI

Resumen

Presentamos CAT-V (Caption AnyThing in Video), un marco de trabajo sin necesidad de entrenamiento para la generación de descripciones centradas en objetos en videos con un nivel de detalle fino, que permite describir de manera detallada objetos seleccionados por el usuario a lo largo del tiempo. CAT-V integra tres componentes clave: un Segmentador basado en SAMURAI para la segmentación precisa de objetos a través de los fotogramas, un Analizador Temporal impulsado por TRACE-Uni para la detección precisa de límites de eventos y el análisis temporal, y un Generador de Descripciones que utiliza InternVL-2.5 para producir descripciones detalladas centradas en objetos. Mediante indicaciones visuales espacio-temporales y razonamiento en cadena de pensamiento, nuestro marco genera descripciones detalladas y temporalmente conscientes de los atributos, acciones, estados, interacciones y contextos ambientales de los objetos, sin requerir datos de entrenamiento adicionales. CAT-V admite interacciones flexibles del usuario a través de diversas indicaciones visuales (puntos, cuadros delimitadores y regiones irregulares) y mantiene la sensibilidad temporal al rastrear los estados e interacciones de los objetos en diferentes segmentos de tiempo. Nuestro enfoque aborda las limitaciones de los métodos existentes de descripción de videos, que producen descripciones demasiado abstractas o carecen de precisión a nivel de objeto, permitiendo descripciones específicas y detalladas de objetos mientras se mantiene la coherencia temporal y la precisión espacial. El repositorio de GitHub para este proyecto está disponible en https://github.com/yunlong10/CAT-V.

English

We present CAT-V (Caption AnyThing in Video), a training-free framework for fine-grained object-centric video captioning that enables detailed descriptions of user-selected objects through time. CAT-V integrates three key components: a Segmenter based on SAMURAI for precise object segmentation across frames, a Temporal Analyzer powered by TRACE-Uni for accurate event boundary detection and temporal analysis, and a Captioner using InternVL-2.5 for generating detailed object-centric descriptions. Through spatiotemporal visual prompts and chain-of-thought reasoning, our framework generates detailed, temporally-aware descriptions of objects' attributes, actions, statuses, interactions, and environmental contexts without requiring additional training data. CAT-V supports flexible user interactions through various visual prompts (points, bounding boxes, and irregular regions) and maintains temporal sensitivity by tracking object states and interactions across different time segments. Our approach addresses limitations of existing video captioning methods, which either produce overly abstract descriptions or lack object-level precision, enabling fine-grained, object-specific descriptions while maintaining temporal coherence and spatial accuracy. The GitHub repository for this project is available at https://github.com/yunlong10/CAT-V