X-CoT: Erklärbare Text-zu-Video-Retrieval mittels LLM-basierter Chain-of-Thought-Argumentation

X-CoT: Explainable Text-to-Video Retrieval via LLM-based Chain-of-Thought Reasoning

September 25, 2025

papers.authors: Prasanna Reddy Pulakurthi, Jiamian Wang, Majid Rabbani, Sohail Dianat, Raghuveer Rao, Zhiqiang Tao

cs.AI

papers.abstract

Vorherrschende Text-zu-Video-Retrieval-Systeme verwenden hauptsächlich Embedding-Modelle zur Merkmalsextraktion und berechnen Kosinus-Ähnlichkeiten für das Ranking. Dieses Design weist jedoch zwei Einschränkungen auf. Niedrigqualitative Text-Video-Datenpaare könnten das Retrieval beeinträchtigen, sind jedoch schwer zu identifizieren und zu überprüfen. Die Kosinus-Ähnlichkeit allein bietet keine Erklärung für die Ranking-Ergebnisse, was die Interpretierbarkeit einschränkt. Wir fragen uns, ob wir die Ranking-Ergebnisse interpretieren können, um die Retrieval-Modelle zu bewerten und die Text-Video-Daten zu untersuchen. Diese Arbeit schlägt X-CoT vor, ein erklärbares Retrieval-Framework, das auf dem CoT-Reasoning (Chain-of-Thought) von LLMs (Large Language Models) basiert und das Embedding-Modell-basierte Ähnlichkeitsranking ersetzt. Wir erweitern zunächst die bestehenden Benchmarks mit zusätzlichen Video-Annotationen, um das semantische Verständnis zu unterstützen und Datenverzerrungen zu reduzieren. Wir entwickeln auch ein Retrieval CoT, das aus paarweisen Vergleichsschritten besteht und detaillierte Begründungen sowie ein vollständiges Ranking liefert. X-CoT verbessert empirisch die Retrieval-Leistung und erzeugt detaillierte Begründungen. Es erleichtert auch die Analyse des Modellverhaltens und der Datenqualität. Code und Daten sind verfügbar unter: https://github.com/PrasannaPulakurthi/X-CoT.

English

Prevalent text-to-video retrieval systems mainly adopt embedding models for feature extraction and compute cosine similarities for ranking. However, this design presents two limitations. Low-quality text-video data pairs could compromise the retrieval, yet are hard to identify and examine. Cosine similarity alone provides no explanation for the ranking results, limiting the interpretability. We ask that can we interpret the ranking results, so as to assess the retrieval models and examine the text-video data? This work proposes X-CoT, an explainable retrieval framework upon LLM CoT reasoning in place of the embedding model-based similarity ranking. We first expand the existing benchmarks with additional video annotations to support semantic understanding and reduce data bias. We also devise a retrieval CoT consisting of pairwise comparison steps, yielding detailed reasoning and complete ranking. X-CoT empirically improves the retrieval performance and produces detailed rationales. It also facilitates the model behavior and data quality analysis. Code and data are available at: https://github.com/PrasannaPulakurthi/X-CoT.