RepLiQA: Ein Frage-Antwort-Datensatz zur Bewertung von LLMs anhand von ungesehenem Referenzinhalt

RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content

June 17, 2024

Autoren: Joao Monteiro, Pierre-Andre Noel, Etienne Marcotte, Sai Rajeswar, Valentina Zantedeschi, David Vazquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden auf riesigen Datenmengen trainiert, die größtenteils automatisch aus dem Internet extrahiert werden. Diese Daten umfassen enzyklopädische Dokumente, die eine große Menge an Allgemeinwissen enthalten (z. B. Wikipedia), aber auch potenziell mit Benchmark-Datensätzen überlappen, die zur Evaluierung von LLMs verwendet werden. Daher ist die Bewertung von Modellen anhand von Testaufteilungen, die möglicherweise in den Trainingssatz gelangt sind, anfällig für irreführende Schlussfolgerungen. Um eine fundierte Bewertung von Sprachmodellen zu fördern, stellen wir einen neuen Testdatensatz namens RepLiQA vor, der für Frage-Antwort- und Themenabrufaufgaben geeignet ist. RepLiQA ist eine Sammlung von fünf Aufteilungen von Testsets, von denen vier vor dieser Veröffentlichung nicht ins Internet gestellt oder LLM-APIs ausgesetzt wurden. Jedes Beispiel in RepLiQA besteht aus (1) einem von einem menschlichen Annotator erstellten Referenzdokument, das ein imaginäres Szenario darstellt (z. B. ein Nachrichtenartikel), das nicht im Internet vorhanden ist; (2) einer Frage zum Thema des Dokuments; (3) einer aus dem Dokument direkt abgeleiteten richtigen Antwort; und (4) dem Absatz aus dem Referenzdokument, der die Antwort enthält. Daher können genaue Antworten nur generiert werden, wenn ein Modell relevante Inhalte im bereitgestellten Dokument finden kann. Wir führen einen groß angelegten Benchmark durch, der mehrere erstklassige LLMs umfasst, um Unterschiede in der Leistung verschiedener Modelle unterschiedlicher Typen und Größen in einem kontextbedingten Sprachmodellierungsumfeld aufzudecken. Veröffentlichte Aufteilungen von RepLiQA finden Sie hier: https://huggingface.co/datasets/ServiceNow/repliqa.

English

Large Language Models (LLMs) are trained on vast amounts of data, most of which is automatically scraped from the internet. This data includes encyclopedic documents that harbor a vast amount of general knowledge (e.g., Wikipedia) but also potentially overlap with benchmark datasets used for evaluating LLMs. Consequently, evaluating models on test splits that might have leaked into the training set is prone to misleading conclusions. To foster sound evaluation of language models, we introduce a new test dataset named RepLiQA, suited for question-answering and topic retrieval tasks. RepLiQA is a collection of five splits of test sets, four of which have not been released to the internet or exposed to LLM APIs prior to this publication. Each sample in RepLiQA comprises (1) a reference document crafted by a human annotator and depicting an imaginary scenario (e.g., a news article) absent from the internet; (2) a question about the document's topic; (3) a ground-truth answer derived directly from the information in the document; and (4) the paragraph extracted from the reference document containing the answer. As such, accurate answers can only be generated if a model can find relevant content within the provided document. We run a large-scale benchmark comprising several state-of-the-art LLMs to uncover differences in performance across models of various types and sizes in a context-conditional language modeling setting. Released splits of RepLiQA can be found here: https://huggingface.co/datasets/ServiceNow/repliqa.