RepLiQA: Um Conjunto de Dados de Perguntas e Respostas para Avaliação de LLMs em Conteúdo Não Visto

RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content

June 17, 2024

Autores: Joao Monteiro, Pierre-Andre Noel, Etienne Marcotte, Sai Rajeswar, Valentina Zantedeschi, David Vazquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) são treinados em vastas quantidades de dados, a maioria dos quais é automaticamente coletada da internet. Esses dados incluem documentos enciclopédicos que abrigam uma grande quantidade de conhecimento geral (por exemplo, a Wikipedia), mas também podem se sobrepor a conjuntos de dados de benchmark usados para avaliar LLMs. Consequentemente, avaliar modelos em divisões de teste que podem ter vazado para o conjunto de treinamento tende a levar a conclusões enganosas. Para promover uma avaliação sólida de modelos de linguagem, introduzimos um novo conjunto de dados de teste chamado RepLiQA, adequado para tarefas de resposta a perguntas e recuperação de tópicos. RepLiQA é uma coleção de cinco divisões de conjuntos de teste, quatro das quais não foram liberadas na internet ou expostas a APIs de LLM antes desta publicação. Cada amostra no RepLiQA compreende (1) um documento de referência elaborado por um anotador humano e que descreve um cenário imaginário (por exemplo, um artigo de notícias) ausente da internet; (2) uma pergunta sobre o tópico do documento; (3) uma resposta verdadeira derivada diretamente das informações no documento; e (4) o parágrafo extraído do documento de referência que contém a resposta. Dessa forma, respostas precisas só podem ser geradas se um modelo conseguir encontrar conteúdo relevante dentro do documento fornecido. Executamos um benchmark em grande escala que inclui vários LLMs state-of-the-art para revelar diferenças de desempenho entre modelos de vários tipos e tamanhos em um cenário de modelagem de linguagem condicional ao contexto. As divisões liberadas do RepLiQA podem ser encontradas aqui: https://huggingface.co/datasets/ServiceNow/repliqa.

English

Large Language Models (LLMs) are trained on vast amounts of data, most of which is automatically scraped from the internet. This data includes encyclopedic documents that harbor a vast amount of general knowledge (e.g., Wikipedia) but also potentially overlap with benchmark datasets used for evaluating LLMs. Consequently, evaluating models on test splits that might have leaked into the training set is prone to misleading conclusions. To foster sound evaluation of language models, we introduce a new test dataset named RepLiQA, suited for question-answering and topic retrieval tasks. RepLiQA is a collection of five splits of test sets, four of which have not been released to the internet or exposed to LLM APIs prior to this publication. Each sample in RepLiQA comprises (1) a reference document crafted by a human annotator and depicting an imaginary scenario (e.g., a news article) absent from the internet; (2) a question about the document's topic; (3) a ground-truth answer derived directly from the information in the document; and (4) the paragraph extracted from the reference document containing the answer. As such, accurate answers can only be generated if a model can find relevant content within the provided document. We run a large-scale benchmark comprising several state-of-the-art LLMs to uncover differences in performance across models of various types and sizes in a context-conditional language modeling setting. Released splits of RepLiQA can be found here: https://huggingface.co/datasets/ServiceNow/repliqa.