DoTA-RAG: Динамическая агрегация мыслительных процессов RAG

DoTA-RAG: Dynamic of Thought Aggregation RAG

June 14, 2025

Авторы: Saksorn Ruangtanusak, Natthapath Rungseesiripak, Peerawat Rojratchadakorn, Monthol Charattrakool, Natapong Nitarach

cs.AI

Аннотация

В данной статье мы представляем DoTA-RAG (Dynamic-of-Thought Aggregation RAG) — систему генерации, усиленную поиском, оптимизированную для работы с высокопроизводительными и крупномасштабными индексами веб-знаний. Традиционные RAG-конвейеры часто страдают от высокой задержки и ограниченной точности при работе с огромными и разнообразными наборами данных. DoTA-RAG решает эти проблемы с помощью трехэтапного конвейера: переформулирование запросов, динамическая маршрутизация к специализированным подындексам и многоэтапный поиск с ранжированием. Мы дополнительно улучшаем поиск, оценивая и выбирая более эффективную модель эмбеддингов, а также повторно создаем эмбеддинги для крупного корпуса FineWeb-10BT. Кроме того, мы создаем разнообразный набор данных из 500 вопросов и ответов, сгенерированных с использованием установки DataMorgana, охватывающих широкий спектр тем и форматов WebOrganizer. DoTA-RAG повышает показатель корректности ответов с 0.752 (базовый уровень, с использованием предварительно созданного векторного хранилища LiveRAG) до 1.478, сохраняя при этом низкую задержку, и достигает показателя корректности 0.929 в рамках Live Challenge Day. Эти результаты подчеркивают потенциал DoTA-RAG для практического применения в областях, требующих быстрого и надежного доступа к крупным и постоянно обновляемым источникам знаний.

English

In this paper, we introduce DoTA-RAG (Dynamic-of-Thought Aggregation RAG), a retrieval-augmented generation system optimized for high-throughput, large-scale web knowledge indexes. Traditional RAG pipelines often suffer from high latency and limited accuracy over massive, diverse datasets. DoTA-RAG addresses these challenges with a three-stage pipeline: query rewriting, dynamic routing to specialized sub-indexes, and multi-stage retrieval and ranking. We further enhance retrieval by evaluating and selecting a superior embedding model, re-embedding the large FineWeb-10BT corpus. Moreover, we create a diverse Q&A dataset of 500 questions generated via the DataMorgana setup across a broad range of WebOrganizer topics and formats. DoTA-RAG improves the answer correctness score from 0.752 (baseline, using LiveRAG pre-built vector store) to 1.478 while maintaining low latency, and it achieves a 0.929 correctness score on the Live Challenge Day. These results highlight DoTA-RAG's potential for practical deployment in domains requiring fast, reliable access to large and evolving knowledge sources.