MCompassRAG: Тематические метаданные как семантический компас для поиска на уровне абзацев

Аннотация

Системы генерации с дополненным поиском (RAG) критически зависят от того, как документы разбиваются на фрагменты и как осуществляется поиск. Мелкозернистые фрагменты могут повысить точность поиска, но расширяют пространство поиска, увеличивая задержку и стоимость; более крупные фрагменты уменьшают количество кандидатов, но делают плотное сходство менее надежным, поскольку представление каждого фрагмента смешивает несколько тем и вносит больше семантического шума. Этот компромисс становится особенно ограничивающим в задачах глубокого исследования, где поиск должен быть как быстрым, так и точным в больших гетерогенных корпусах. Мы представляем MCompassRAG — структуру поиска, управляемую метаданными, которая использует сигналы на уровне тем в качестве семантического компаса для выбора релевантных доказательств. Вместо того чтобы полагаться только на косинусное сходство между запросами и зашумленными эмбеддингами фрагментов, MCompassRAG обогащает представления фрагментов метаданными тем в том же пространстве эмбеддингов и обучает легковесный ретривер с помощью дистилляции учителя LLM. Во время инференса MCompassRAG выполняет поиск с учетом тематики без дополнительных вызовов LLM, повышая как эффективность, так и качество доказательств. На шести сложных бенчмарках поиска MCompassRAG повышает информационную эффективность (IE) в среднем на 8,24% при более чем пятикратном снижении задержки по сравнению с самыми сильными эффективными базовыми моделями RAG. Код доступен по адресу https://github.com/AmirAbaskohi/MCompassRAG.

English

Retrieval-augmented generation (RAG) systems depend critically on how documents are chunked and searched. Fine-grained chunks can improve retrieval precision but expand the search space, increasing latency and cost; larger chunks reduce the number of candidates but make dense similarity less reliable, as the representation for each chunk mixes multiple topics and introduces more semantic noise. This trade-off becomes especially limiting in deep research tasks, where retrieval must be both fast and precise across large, heterogeneous corpora. We introduce MCompassRAG, a metadata-guided retrieval framework that uses topic-level signals as a semantic compass for selecting relevant evidence. Instead of relying only on cosine similarity between queries and noisy chunk embeddings, MCompassRAG enriches chunk representations with topic metadata in the same embedding space and trains a lightweight retriever through LLM-teacher distillation. At inference time, MCompassRAG performs topic-aware retrieval without additional LLM calls, improving both efficiency and evidence quality. Across six complex retrieval benchmarks, MCompassRAG improves information efficiency (IE) by 8.24% on average with over 5 times lower latency than the strongest efficient RAG baselines. Code is available on https://github.com/AmirAbaskohi/MCompassRAG.