X-CoT : Recherche explicable texte-vidéo via un raisonnement en chaîne de pensée basé sur des modèles de langage de grande taille

X-CoT: Explainable Text-to-Video Retrieval via LLM-based Chain-of-Thought Reasoning

September 25, 2025

papers.authors: Prasanna Reddy Pulakurthi, Jiamian Wang, Majid Rabbani, Sohail Dianat, Raghuveer Rao, Zhiqiang Tao

cs.AI

papers.abstract

Les systèmes prédominants de recherche texte-vidéo utilisent principalement des modèles d'incorporation pour l'extraction de caractéristiques et calculent les similarités cosinus pour le classement. Cependant, cette conception présente deux limites. Les paires de données texte-vidéo de faible qualité pourraient compromettre la recherche, mais sont difficiles à identifier et à examiner. La similarité cosinus seule ne fournit aucune explication pour les résultats de classement, limitant ainsi l'interprétabilité. Nous nous demandons : pouvons-nous interpréter les résultats de classement afin d'évaluer les modèles de recherche et d'examiner les données texte-vidéo ? Ce travail propose X-CoT, un cadre de recherche explicable basé sur le raisonnement CoT (Chain-of-Thought) des LLM (Large Language Models) en remplacement du classement par similarité basé sur des modèles d'incorporation. Nous commençons par enrichir les benchmarks existants avec des annotations vidéo supplémentaires pour soutenir la compréhension sémantique et réduire les biais de données. Nous concevons également un CoT de recherche composé d'étapes de comparaison par paires, produisant un raisonnement détaillé et un classement complet. X-CoT améliore empiriquement les performances de recherche et génère des justifications détaillées. Il facilite également l'analyse du comportement du modèle et de la qualité des données. Le code et les données sont disponibles à l'adresse : https://github.com/PrasannaPulakurthi/X-CoT.

English

Prevalent text-to-video retrieval systems mainly adopt embedding models for feature extraction and compute cosine similarities for ranking. However, this design presents two limitations. Low-quality text-video data pairs could compromise the retrieval, yet are hard to identify and examine. Cosine similarity alone provides no explanation for the ranking results, limiting the interpretability. We ask that can we interpret the ranking results, so as to assess the retrieval models and examine the text-video data? This work proposes X-CoT, an explainable retrieval framework upon LLM CoT reasoning in place of the embedding model-based similarity ranking. We first expand the existing benchmarks with additional video annotations to support semantic understanding and reduce data bias. We also devise a retrieval CoT consisting of pairwise comparison steps, yielding detailed reasoning and complete ranking. X-CoT empirically improves the retrieval performance and produces detailed rationales. It also facilitates the model behavior and data quality analysis. Code and data are available at: https://github.com/PrasannaPulakurthi/X-CoT.