DoTA-RAG: Aggregazione Dinamica del Pensiero RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Autori: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Abstract

In questo articolo, presentiamo DoTA-RAG (Dynamic-of-Thought Aggregation RAG), un sistema di generazione aumentata da recupero ottimizzato per indici di conoscenza web su larga scala e ad alta produttività. Le pipeline RAG tradizionali spesso soffrono di latenza elevata e precisione limitata su dataset massicci e diversificati. DoTA-RAG affronta queste sfide con una pipeline a tre fasi: riscrittura delle query, instradamento dinamico verso sotto-indici specializzati e recupero e ranking multi-stadio. Miglioriamo ulteriormente il recupero valutando e selezionando un modello di embedding superiore, ri-embedding del grande corpus FineWeb-10BT. Inoltre, creiamo un dataset Q&A diversificato di 500 domande generate tramite la configurazione DataMorgana su un'ampia gamma di argomenti e formati WebOrganizer. DoTA-RAG migliora il punteggio di correttezza delle risposte da 0.752 (baseline, utilizzando lo store vettoriale pre-costruito LiveRAG) a 1.478 mantenendo una bassa latenza, e raggiunge un punteggio di correttezza di 0.929 nel Live Challenge Day. Questi risultati evidenziano il potenziale di DoTA-RAG per il dispiegamento pratico in domini che richiedono un accesso rapido e affidabile a fonti di conoscenza ampie e in evoluzione.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.