MCompassRAG: Metadados de Tópico como uma Bússola Semântica para Recuperação em Nível de Parágrafo

Resumo

Sistemas de geração aumentada por recuperação (RAG) dependem criticamente de como os documentos são fragmentados e pesquisados. Fragmentos finos podem melhorar a precisão da recuperação, mas ampliam o espaço de busca, aumentando a latência e o custo; fragmentos maiores reduzem o número de candidatos, mas tornam a similaridade densa menos confiável, pois a representação de cada fragmento mistura múltiplos tópicos e introduz mais ruído semântico. Essa compensação torna-se especialmente limitante em tarefas de pesquisa profunda, onde a recuperação deve ser rápida e precisa em corpora grandes e heterogêneos. Apresentamos o MCompassRAG, uma estrutura de recuperação guiada por metadados que utiliza sinais de nível de tópico como uma bússola semântica para selecionar evidências relevantes. Em vez de depender apenas da similaridade de cosseno entre consultas e embeddings ruidosos de fragmentos, o MCompassRAG enriquece as representações dos fragmentos com metadados de tópico no mesmo espaço de embeddings e treina um recuperador leve por meio de destilação professor-aluno com LLM. Durante a inferência, o MCompassRAG realiza recuperação ciente de tópicos sem chamadas adicionais ao LLM, melhorando tanto a eficiência quanto a qualidade das evidências. Em seis benchmarks complexos de recuperação, o MCompassRAG melhora a eficiência da informação (IE) em 8,24% em média, com latência mais de 5 vezes menor do que as bases de RAG eficientes mais fortes. O código está disponível em https://github.com/AmirAbaskohi/MCompassRAG.

English

Retrieval-augmented generation (RAG) systems depend critically on how documents are chunked and searched. Fine-grained chunks can improve retrieval precision but expand the search space, increasing latency and cost; larger chunks reduce the number of candidates but make dense similarity less reliable, as the representation for each chunk mixes multiple topics and introduces more semantic noise. This trade-off becomes especially limiting in deep research tasks, where retrieval must be both fast and precise across large, heterogeneous corpora. We introduce MCompassRAG, a metadata-guided retrieval framework that uses topic-level signals as a semantic compass for selecting relevant evidence. Instead of relying only on cosine similarity between queries and noisy chunk embeddings, MCompassRAG enriches chunk representations with topic metadata in the same embedding space and trains a lightweight retriever through LLM-teacher distillation. At inference time, MCompassRAG performs topic-aware retrieval without additional LLM calls, improving both efficiency and evidence quality. Across six complex retrieval benchmarks, MCompassRAG improves information efficiency (IE) by 8.24% on average with over 5 times lower latency than the strongest efficient RAG baselines. Code is available on https://github.com/AmirAbaskohi/MCompassRAG.