CoverBench: Un desafiante banco de pruebas para la verificación de reclamos complejos

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Autores: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Resumen

Existe una creciente línea de investigación sobre la verificación de la corrección de las salidas de los modelos de lenguaje. Al mismo tiempo, los ML se están utilizando para abordar consultas complejas que requieren razonamiento. Presentamos CoverBench, un banco de pruebas desafiante centrado en verificar las salidas de los ML en entornos de razonamiento complejo. Los conjuntos de datos que se pueden utilizar con este propósito a menudo están diseñados para otras tareas de razonamiento complejo (por ejemplo, QA) dirigidas a casos de uso específicos (por ejemplo, tablas financieras), lo que requiere transformaciones, muestreo negativo y selección de ejemplos difíciles para recopilar dicho banco de pruebas. CoverBench proporciona una evaluación diversificada para la verificación de reclamos complejos en una variedad de dominios, tipos de razonamiento, entradas relativamente largas y una variedad de estandarizaciones, como múltiples representaciones para tablas cuando estén disponibles, y un esquema consistente. Revisamos manualmente los datos para garantizar niveles bajos de ruido en las etiquetas. Finalmente, informamos una variedad de resultados de líneas base competitivos para demostrar que CoverBench es desafiante y tiene un margen de mejora muy significativo. Los datos están disponibles en https://huggingface.co/datasets/google/coverbench.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .