Mais Documentos, Mesmo Comprimento: Isolando o Desafio de Múltiplos Documentos no RAG

More Documents, Same Length: Isolating the Challenge of Multiple Documents in RAG

March 6, 2025

Autores: Shahar Levy, Nir Mazor, Lihi Shalmon, Michael Hassid, Gabriel Stanovsky

cs.AI

Resumo

A geração aumentada por recuperação (RAG) fornece aos LLMs documentos relevantes. Embora estudos anteriores tenham observado que a recuperação de muitos documentos pode degradar o desempenho, eles não isolaram como a quantidade de documentos afeta o desempenho enquanto controlavam o comprimento do contexto. Avaliamos vários modelos de linguagem em conjuntos de dados personalizados derivados de uma tarefa de QA multi-hop. Mantemos o comprimento do contexto e a posição das informações relevantes constantes enquanto variamos o número de documentos, e descobrimos que aumentar a contagem de documentos em configurações de RAG apresenta desafios significativos para os LLMs. Além disso, nossos resultados indicam que processar múltiplos documentos é um desafio separado de lidar com contextos longos. Também disponibilizamos os conjuntos de dados e o código: https://github.com/shaharl6000/MoreDocsSameLen.

English

Retrieval-augmented generation (RAG) provides LLMs with relevant documents. Although previous studies noted that retrieving many documents can degrade performance, they did not isolate how the quantity of documents affects performance while controlling for context length. We evaluate various language models on custom datasets derived from a multi-hop QA task. We keep the context length and position of relevant information constant while varying the number of documents, and find that increasing the document count in RAG settings poses significant challenges for LLMs. Additionally, our results indicate that processing multiple documents is a separate challenge from handling long contexts. We also make the datasets and code available: https://github.com/shaharl6000/MoreDocsSameLen .