X-CoT: Uitlegbare Tekst-naar-Video Retrieval via LLM-gebaseerde Ketting-van-Gedachten Redenering

X-CoT: Explainable Text-to-Video Retrieval via LLM-based Chain-of-Thought Reasoning

September 25, 2025

Auteurs: Prasanna Reddy Pulakurthi, Jiamian Wang, Majid Rabbani, Sohail Dianat, Raghuveer Rao, Zhiqiang Tao

cs.AI

Samenvatting

Prevalente tekst-naar-video retrievalsystemen maken voornamelijk gebruik van embeddingmodellen voor feature-extractie en berekenen cosinusovereenkomsten voor rangschikking. Dit ontwerp kent echter twee beperkingen. Laagkwalitatieve tekst-video dataparen kunnen de retrieval ondermijnen, maar zijn moeilijk te identificeren en te onderzoeken. Cosinusovereenkomst alleen biedt geen verklaring voor de rangschikkingsresultaten, wat de interpreteerbaarheid beperkt. Wij vragen ons af: kunnen we de rangschikkingsresultaten interpreteren om de retrievalmodellen te evalueren en de tekst-video data te onderzoeken? Dit werk stelt X-CoT voor, een interpreteerbaar retrievalframework gebaseerd op LLM CoT-redenering in plaats van de op embeddingmodellen gebaseerde overeenkomstrangschikking. We breiden eerst de bestaande benchmarks uit met aanvullende videoannotaties om semantisch begrip te ondersteunen en datavooroordelen te verminderen. We ontwerpen ook een retrieval CoT bestaande uit paarsgewijze vergelijkingsstappen, wat gedetailleerde redenering en complete rangschikking oplevert. X-CoT verbetert empirisch de retrievalprestaties en produceert gedetailleerde redeneringen. Het vergemakkelijkt ook de analyse van modelgedrag en datakwaliteit. Code en data zijn beschikbaar op: https://github.com/PrasannaPulakurthi/X-CoT.

English

Prevalent text-to-video retrieval systems mainly adopt embedding models for feature extraction and compute cosine similarities for ranking. However, this design presents two limitations. Low-quality text-video data pairs could compromise the retrieval, yet are hard to identify and examine. Cosine similarity alone provides no explanation for the ranking results, limiting the interpretability. We ask that can we interpret the ranking results, so as to assess the retrieval models and examine the text-video data? This work proposes X-CoT, an explainable retrieval framework upon LLM CoT reasoning in place of the embedding model-based similarity ranking. We first expand the existing benchmarks with additional video annotations to support semantic understanding and reduce data bias. We also devise a retrieval CoT consisting of pairwise comparison steps, yielding detailed reasoning and complete ranking. X-CoT empirically improves the retrieval performance and produces detailed rationales. It also facilitates the model behavior and data quality analysis. Code and data are available at: https://github.com/PrasannaPulakurthi/X-CoT.