CoverBench: Ein anspruchsvoller Benchmark für die Überprüfung komplexer Behauptungen

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Autoren: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Zusammenfassung

Es gibt eine wachsende Reihe von Forschungsarbeiten zur Überprüfung der Korrektheit von Sprachmodellen. Gleichzeitig werden Sprachmodelle eingesetzt, um komplexe Anfragen zu bearbeiten, die logisches Denken erfordern. Wir stellen CoverBench vor, einen anspruchsvollen Benchmark, der sich auf die Überprüfung von Sprachmodellausgaben in komplexen Denkszenarien konzentriert. Datensätze, die zu diesem Zweck verwendet werden können, sind oft für andere komplexe Denkaufgaben (z. B. QA) konzipiert, die spezifische Anwendungsfälle (z. B. Finanztabelle) ansprechen. Dies erfordert Transformationen, negatives Sampling und die Auswahl schwieriger Beispiele, um einen solchen Benchmark zu erstellen. CoverBench bietet eine vielfältige Bewertung für die Überprüfung von komplexen Behauptungen in verschiedenen Bereichen, Arten des Denkens, relativ langen Eingaben und verschiedenen Standardisierungen, wie z. B. mehrere Darstellungen für Tabellen, sofern verfügbar, und ein konsistentes Schema. Wir überprüfen die Daten manuell auf Qualität, um niedrige Ebenen von Labelrauschen sicherzustellen. Abschließend präsentieren wir eine Vielzahl von wettbewerbsfähigen Baseline-Ergebnissen, um zu zeigen, dass CoverBench anspruchsvoll ist und über ein sehr signifikantes Verbesserungspotenzial verfügt. Die Daten sind unter https://huggingface.co/datasets/google/coverbench verfügbar.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .