DoTA-RAG: Dynamische Gedachte Aggregatie RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Auteurs: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Samenvatting

In dit artikel introduceren we DoTA-RAG (Dynamic-of-Thought Aggregation RAG), een retrieval-augmented generation-systeem dat is geoptimaliseerd voor hoge doorvoer en grootschalige webkennisindexen. Traditionele RAG-pijplijnen kampen vaak met hoge latentie en beperkte nauwkeurigheid bij enorme, diverse datasets. DoTA-RAG lost deze problemen op met een pijplijn in drie fasen: queryherformulering, dynamische routering naar gespecialiseerde subindexen, en meerfasige retrieval en ranking. We verbeteren de retrieval verder door een superieur embeddingmodel te evalueren en te selecteren, waarbij we het grote FineWeb-10BT-corpus opnieuw embedden. Bovendien creëren we een diverse Q&A-dataset van 500 vragen die gegenereerd zijn via de DataMorgana-opstelling, verspreid over een breed scala aan WebOrganizer-onderwerpen en -formats. DoTA-RAG verbetert de antwoordcorrectheidsscore van 0.752 (baseline, gebruikmakend van de LiveRAG vooraf gebouwde vectorstore) naar 1.478, terwijl de lage latentie behouden blijft, en behaalt een correctheidsscore van 0.929 op de Live Challenge Day. Deze resultaten onderstrepen het potentieel van DoTA-RAG voor praktische implementatie in domeinen die snelle, betrouwbare toegang tot grote en evoluerende kennisbronnen vereisen.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.