X-CoT: Recupero Spiegabile da Testo a Video tramite Ragionamento a Catena del Pensiero Basato su LLM

X-CoT: Explainable Text-to-Video Retrieval via LLM-based Chain-of-Thought Reasoning

September 25, 2025

Autori: Prasanna Reddy Pulakurthi, Jiamian Wang, Majid Rabbani, Sohail Dianat, Raghuveer Rao, Zhiqiang Tao

cs.AI

Abstract

I sistemi prevalenti per il recupero testo-video adottano principalmente modelli di embedding per l'estrazione delle caratteristiche e calcolano le similarità del coseno per il ranking. Tuttavia, questo design presenta due limitazioni. Le coppie di dati testo-video di bassa qualità potrebbero compromettere il recupero, ma sono difficili da identificare e esaminare. La sola similarità del coseno non fornisce spiegazioni per i risultati del ranking, limitando l'interpretabilità. Ci chiediamo: possiamo interpretare i risultati del ranking, in modo da valutare i modelli di recupero ed esaminare i dati testo-video? Questo lavoro propone X-CoT, un framework di recupero spiegabile basato sul ragionamento CoT di LLM, in sostituzione del ranking di similarità basato su modelli di embedding. In primo luogo, espandiamo i benchmark esistenti con annotazioni video aggiuntive per supportare la comprensione semantica e ridurre il bias dei dati. Progettiamo inoltre un CoT di recupero composto da passaggi di confronto a coppie, che produce un ragionamento dettagliato e un ranking completo. X-CoT migliora empiricamente le prestazioni di recupero e genera motivazioni dettagliate. Facilita inoltre l'analisi del comportamento del modello e della qualità dei dati. Codice e dati sono disponibili su: https://github.com/PrasannaPulakurthi/X-CoT.

English

Prevalent text-to-video retrieval systems mainly adopt embedding models for feature extraction and compute cosine similarities for ranking. However, this design presents two limitations. Low-quality text-video data pairs could compromise the retrieval, yet are hard to identify and examine. Cosine similarity alone provides no explanation for the ranking results, limiting the interpretability. We ask that can we interpret the ranking results, so as to assess the retrieval models and examine the text-video data? This work proposes X-CoT, an explainable retrieval framework upon LLM CoT reasoning in place of the embedding model-based similarity ranking. We first expand the existing benchmarks with additional video annotations to support semantic understanding and reduce data bias. We also devise a retrieval CoT consisting of pairwise comparison steps, yielding detailed reasoning and complete ranking. X-CoT empirically improves the retrieval performance and produces detailed rationales. It also facilitates the model behavior and data quality analysis. Code and data are available at: https://github.com/PrasannaPulakurthi/X-CoT.