RepLiQA: Un conjunto de datos de preguntas y respuestas para evaluar modelos de lenguaje en contenido de referencia no visto

RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content

June 17, 2024

Autores: Joao Monteiro, Pierre-Andre Noel, Etienne Marcotte, Sai Rajeswar, Valentina Zantedeschi, David Vazquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se entrenan con grandes cantidades de datos, la mayoría de los cuales se extraen automáticamente de internet. Estos datos incluyen documentos enciclopédicos que contienen una vasta cantidad de conocimiento general (por ejemplo, Wikipedia), pero que también pueden solaparse con conjuntos de datos de referencia utilizados para evaluar LLMs. En consecuencia, evaluar modelos en divisiones de prueba que podrían haber filtrado en el conjunto de entrenamiento tiende a generar conclusiones engañosas. Para fomentar una evaluación sólida de los modelos de lenguaje, presentamos un nuevo conjunto de datos de prueba llamado RepLiQA, adecuado para tareas de respuesta a preguntas y recuperación de temas. RepLiQA es una colección de cinco divisiones de conjuntos de prueba, cuatro de los cuales no se habían publicado en internet ni expuesto a APIs de LLM antes de esta publicación. Cada muestra en RepLiQA comprende (1) un documento de referencia creado por un anotador humano que describe un escenario imaginario (por ejemplo, un artículo de noticias) ausente en internet; (2) una pregunta sobre el tema del documento; (3) una respuesta de referencia derivada directamente de la información en el documento; y (4) el párrafo extraído del documento de referencia que contiene la respuesta. De esta manera, las respuestas precisas solo pueden generarse si un modelo es capaz de encontrar contenido relevante dentro del documento proporcionado. Ejecutamos una evaluación a gran escala que incluye varios LLMs de última generación para descubrir diferencias en el rendimiento entre modelos de diversos tipos y tamaños en un entorno de modelado de lenguaje condicional al contexto. Las divisiones publicadas de RepLiQA se pueden encontrar aquí: https://huggingface.co/datasets/ServiceNow/repliqa.

English

Large Language Models (LLMs) are trained on vast amounts of data, most of which is automatically scraped from the internet. This data includes encyclopedic documents that harbor a vast amount of general knowledge (e.g., Wikipedia) but also potentially overlap with benchmark datasets used for evaluating LLMs. Consequently, evaluating models on test splits that might have leaked into the training set is prone to misleading conclusions. To foster sound evaluation of language models, we introduce a new test dataset named RepLiQA, suited for question-answering and topic retrieval tasks. RepLiQA is a collection of five splits of test sets, four of which have not been released to the internet or exposed to LLM APIs prior to this publication. Each sample in RepLiQA comprises (1) a reference document crafted by a human annotator and depicting an imaginary scenario (e.g., a news article) absent from the internet; (2) a question about the document's topic; (3) a ground-truth answer derived directly from the information in the document; and (4) the paragraph extracted from the reference document containing the answer. As such, accurate answers can only be generated if a model can find relevant content within the provided document. We run a large-scale benchmark comprising several state-of-the-art LLMs to uncover differences in performance across models of various types and sizes in a context-conditional language modeling setting. Released splits of RepLiQA can be found here: https://huggingface.co/datasets/ServiceNow/repliqa.