DoTA-RAG: Agregação Dinâmica de Pensamento RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Autores: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Resumo

Neste artigo, apresentamos o DoTA-RAG (Dynamic-of-Thought Aggregation RAG), um sistema de geração aumentada por recuperação otimizado para índices de conhecimento em larga escala e alta taxa de transferência. Os pipelines tradicionais de RAG frequentemente enfrentam problemas de alta latência e precisão limitada em conjuntos de dados massivos e diversos. O DoTA-RAG aborda esses desafios com um pipeline de três estágios: reescrita de consultas, roteamento dinâmico para sub-índices especializados e recuperação e classificação em múltiplos estágios. Além disso, aprimoramos a recuperação ao avaliar e selecionar um modelo de embedding superior, re-embeddando o grande corpus FineWeb-10BT. Adicionalmente, criamos um conjunto de dados diversificado de perguntas e respostas com 500 questões geradas por meio da configuração DataMorgana, abrangendo uma ampla gama de tópicos e formatos do WebOrganizer. O DoTA-RAG melhora a pontuação de correção das respostas de 0,752 (baseline, usando o armazenamento de vetores pré-construído do LiveRAG) para 1,478, mantendo uma baixa latência, e alcança uma pontuação de correção de 0,929 no Live Challenge Day. Esses resultados destacam o potencial do DoTA-RAG para implantação prática em domínios que exigem acesso rápido e confiável a grandes e dinâmicas fontes de conhecimento.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.