DoTA-RAG: Agregación Dinámica del Pensamiento RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Autores: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Resumen

En este artículo, presentamos DoTA-RAG (Dynamic-of-Thought Aggregation RAG), un sistema de generación aumentada por recuperación optimizado para índices de conocimiento web de gran escala y alto rendimiento. Los pipelines tradicionales de RAG suelen enfrentar problemas de alta latencia y precisión limitada en conjuntos de datos masivos y diversos. DoTA-RAG aborda estos desafíos con un pipeline de tres etapas: reescritura de consultas, enrutamiento dinámico a subíndices especializados, y recuperación y clasificación en múltiples etapas. Además, mejoramos la recuperación evaluando y seleccionando un modelo de embeddings superior, re-embebiendo el gran corpus FineWeb-10BT. Asimismo, creamos un conjunto de datos diverso de preguntas y respuestas con 500 preguntas generadas mediante la configuración DataMorgana, abarcando una amplia gama de temas y formatos de WebOrganizer. DoTA-RAG mejora la puntuación de corrección de respuestas de 0.752 (línea base, utilizando el almacén de vectores preconstruido de LiveRAG) a 1.478, manteniendo una baja latencia, y logra una puntuación de corrección de 0.929 en el Live Challenge Day. Estos resultados destacan el potencial de DoTA-RAG para su implementación práctica en dominios que requieren acceso rápido y confiable a fuentes de conocimiento grandes y en evolución.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.