Legendar Qualquer Coisa em Vídeo: Legendagem Centrada em Objetos de Alta Granularidade via Prompting Espaço-Temporal Multimodal

Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting

April 7, 2025

Autores: Yunlong Tang, Jing Bi, Chao Huang, Susan Liang, Daiki Shimada, Hang Hua, Yunzhong Xiao, Yizhi Song, Pinxin Liu, Mingqian Feng, Junjia Guo, Zhuo Liu, Luchuan Song, Ali Vosoughi, Jinxi He, Liu He, Zeliang Zhang, Jiebo Luo, Chenliang Xu

cs.AI

Resumo

Apresentamos o CAT-V (Caption AnyThing in Video), uma estrutura livre de treinamento para legendagem de vídeo centrada em objetos com granularidade fina, que permite descrições detalhadas de objetos selecionados pelo usuário ao longo do tempo. O CAT-V integra três componentes principais: um Segmentador baseado no SAMURAI para segmentação precisa de objetos entre quadros, um Analisador Temporal alimentado pelo TRACE-Uni para detecção precisa de limites de eventos e análise temporal, e um Gerador de Legendas utilizando o InternVL-2.5 para criar descrições detalhadas centradas em objetos. Por meio de prompts visuais espaço-temporais e raciocínio em cadeia de pensamento, nossa estrutura gera descrições detalhadas e temporalmente conscientes dos atributos, ações, estados, interações e contextos ambientais dos objetos, sem a necessidade de dados adicionais de treinamento. O CAT-V suporta interações flexíveis do usuário por meio de diversos prompts visuais (pontos, caixas delimitadoras e regiões irregulares) e mantém a sensibilidade temporal ao rastrear os estados e interações dos objetos em diferentes segmentos de tempo. Nossa abordagem aborda as limitações dos métodos existentes de legendagem de vídeo, que produzem descrições excessivamente abstratas ou carecem de precisão em nível de objeto, permitindo descrições específicas e detalhadas de objetos enquanto mantêm coerência temporal e precisão espacial. O repositório GitHub deste projeto está disponível em https://github.com/yunlong10/CAT-V.

English

We present CAT-V (Caption AnyThing in Video), a training-free framework for fine-grained object-centric video captioning that enables detailed descriptions of user-selected objects through time. CAT-V integrates three key components: a Segmenter based on SAMURAI for precise object segmentation across frames, a Temporal Analyzer powered by TRACE-Uni for accurate event boundary detection and temporal analysis, and a Captioner using InternVL-2.5 for generating detailed object-centric descriptions. Through spatiotemporal visual prompts and chain-of-thought reasoning, our framework generates detailed, temporally-aware descriptions of objects' attributes, actions, statuses, interactions, and environmental contexts without requiring additional training data. CAT-V supports flexible user interactions through various visual prompts (points, bounding boxes, and irregular regions) and maintains temporal sensitivity by tracking object states and interactions across different time segments. Our approach addresses limitations of existing video captioning methods, which either produce overly abstract descriptions or lack object-level precision, enabling fine-grained, object-specific descriptions while maintaining temporal coherence and spatial accuracy. The GitHub repository for this project is available at https://github.com/yunlong10/CAT-V