CoverBench : Un Benchmark Exigeant pour la Vérification de Revendications Complexes

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Auteurs: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Résumé

Une ligne de recherche croissante s'intéresse à la vérification de l'exactitude des sorties des modèles de langage. Parallèlement, ces modèles sont utilisés pour traiter des requêtes complexes nécessitant un raisonnement. Nous présentons CoverBench, un benchmark exigeant axé sur la vérification des sorties des modèles de langage dans des contextes de raisonnement complexe. Les ensembles de données utilisables à cette fin sont souvent conçus pour d'autres tâches de raisonnement complexe (par exemple, question-réponse) ciblant des cas d'usage spécifiques (par exemple, tableaux financiers), nécessitant des transformations, un échantillonnage négatif et une sélection d'exemples difficiles pour constituer un tel benchmark. CoverBench propose une évaluation diversifiée pour la vérification de déclarations complexes dans divers domaines, types de raisonnement, entrées relativement longues, et une variété de standardisations, telles que des représentations multiples pour les tableaux lorsqu'elles sont disponibles, et un schéma cohérent. Nous vérifions manuellement la qualité des données pour garantir un faible niveau de bruit dans les étiquettes. Enfin, nous rapportons divers résultats de base compétitifs pour montrer que CoverBench est exigeant et offre une marge d'amélioration très significative. Les données sont disponibles à l'adresse suivante : https://huggingface.co/datasets/google/coverbench.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .