DoTA-RAG : Agrégation Dynamique de la Pensée RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Auteurs: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Résumé

Dans cet article, nous présentons DoTA-RAG (Dynamic-of-Thought Aggregation RAG), un système de génération augmentée par la recherche optimisé pour un débit élevé et des index de connaissances web à grande échelle. Les pipelines RAG traditionnels souffrent souvent d'une latence élevée et d'une précision limitée sur des ensembles de données massifs et diversifiés. DoTA-RAG résout ces défis grâce à un pipeline en trois étapes : réécriture de requêtes, routage dynamique vers des sous-index spécialisés, et recherche et classement multi-étapes. Nous améliorons également la recherche en évaluant et en sélectionnant un modèle d'embedding supérieur, en ré-encodant le grand corpus FineWeb-10BT. Par ailleurs, nous créons un ensemble de questions-réponses diversifié de 500 questions générées via le dispositif DataMorgana, couvrant un large éventail de sujets et de formats WebOrganizer. DoTA-RAG améliore le score de justesse des réponses de 0,752 (référence, utilisant le magasin de vecteurs pré-construit LiveRAG) à 1,478 tout en maintenant une faible latence, et il atteint un score de justesse de 0,929 lors du Live Challenge Day. Ces résultats mettent en évidence le potentiel de DoTA-RAG pour un déploiement pratique dans des domaines nécessitant un accès rapide et fiable à des sources de connaissances vastes et évolutives.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.