CAST: Modellizzazione delle Transizioni di Stato Visivo per il Recupero Coerente di Video
CAST: Modeling Visual State Transitions for Consistent Video Retrieval
March 9, 2026
Autori: Yanqing Liu, Yingcheng Liu, Fanghong Dong, Budianto Budianto, Cihang Xie, Yan Jiao
cs.AI
Abstract
Con il crescente orientamento della creazione di contenuti video verso narrazioni di lunga durata, diventa sempre più importante comporre clip brevi in trame coerenti. Tuttavia, le formulazioni di retrieval prevalenti rimangono agnostiche al contesto al momento dell'inferenza, privilegiando l'allineamento semantico locale mentre trascurano la coerenza di stato e identità. Per affrontare questa limitazione strutturale, formalizziamo il compito del Consistent Video Retrieval (CVR) e introduciamo un benchmark diagnostico che abbraccia YouCook2, COIN e CrossTask. Proponiamo CAST (Context-Aware State Transition), un adattatore leggero, plug-and-play, compatibile con diversi spazi di embedding visione-linguaggio congelati. Prevedendo un aggiornamento residuo (Δ) condizionato dallo stato a partire dalla cronologia visiva, CAST introduce un bias induttivo esplicito per l'evoluzione dello stato latente. Esperimenti estensivi mostrano che CAST migliora le prestazioni su YouCook2 e CrossTask, rimane competitivo su COIN e supera costantemente i baseline zero-shot su diversi backbone fondazionali. Inoltre, CAST fornisce un utile segnale di reranking per candidati di generazione video di tipo black-box (ad es. da Veo), promuovendo continuazioni temporalmente più coerenti.
English
As video content creation shifts toward long-form narratives, composing short clips into coherent storylines becomes increasingly important. However, prevailing retrieval formulations remain context-agnostic at inference time, prioritizing local semantic alignment while neglecting state and identity consistency. To address this structural limitation, we formalize the task of Consistent Video Retrieval (CVR) and introduce a diagnostic benchmark spanning YouCook2, COIN, and CrossTask. We propose CAST (Context-Aware State Transition), a lightweight, plug-and-play adapter compatible with diverse frozen vision-language embedding spaces. By predicting a state-conditioned residual update (Δ) from visual history, CAST introduces an explicit inductive bias for latent state evolution. Extensive experiments show that CAST improves performance on YouCook2 and CrossTask, remains competitive on COIN, and consistently outperforms zero-shot baselines across diverse foundation backbones. Furthermore, CAST provides a useful reranking signal for black-box video generation candidates (e.g., from Veo), promoting more temporally coherent continuations.