CoverBench: Un Benchmark Impegnativo per la Verifica di Affermazioni Complesse

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Autori: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Abstract

Esiste una crescente linea di ricerca sulla verifica della correttezza degli output dei modelli linguistici. Allo stesso tempo, i modelli linguistici vengono utilizzati per affrontare query complesse che richiedono ragionamento. Introduciamo CoverBench, un benchmark impegnativo focalizzato sulla verifica degli output dei modelli linguistici in contesti di ragionamento complesso. I dataset che possono essere utilizzati per questo scopo sono spesso progettati per altri compiti di ragionamento complesso (ad esempio, QA) mirati a casi d'uso specifici (ad esempio, tabelle finanziarie), richiedendo trasformazioni, campionamento negativo e selezione di esempi difficili per raccogliere un tale benchmark. CoverBench fornisce una valutazione diversificata per la verifica di affermazioni complesse in una varietà di domini, tipi di ragionamento, input relativamente lunghi e una varietà di standardizzazioni, come multiple rappresentazioni per le tabelle dove disponibili, e uno schema coerente. Verifichiamo manualmente la qualità dei dati per garantire bassi livelli di rumore nelle etichette. Infine, riportiamo una varietà di risultati di baseline competitivi per dimostrare che CoverBench è impegnativo e ha un margine di miglioramento molto significativo. I dati sono disponibili all'indirizzo https://huggingface.co/datasets/google/coverbench.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .