CoverBench: Um Desafiador Benchmark para Verificação de Alegações Complexas

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Autores: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Resumo

Existe uma crescente linha de pesquisa sobre a verificação da correção das saídas de modelos de linguagem. Ao mesmo tempo, os LM estão sendo utilizados para lidar com consultas complexas que exigem raciocínio. Apresentamos o CoverBench, um benchmark desafiador focado na verificação das saídas do LM em cenários de raciocínio complexo. Conjuntos de dados que podem ser usados para esse fim frequentemente são projetados para outras tarefas de raciocínio complexo (por exemplo, QA) visando casos de uso específicos (por exemplo, tabelas financeiras), exigindo transformações, amostragem negativa e seleção de exemplos difíceis para coletar tal benchmark. O CoverBench fornece uma avaliação diversificada para a verificação de reivindicações complexas em uma variedade de domínios, tipos de raciocínio, entradas relativamente longas e uma variedade de padronizações, como múltiplas representações para tabelas, quando disponíveis, e um esquema consistente. Nós verificamos manualmente os dados quanto à qualidade para garantir baixos níveis de ruído nos rótulos. Por fim, relatamos uma variedade de resultados de linha de base competitivos para mostrar que o CoverBench é desafiador e tem um potencial significativo. Os dados estão disponíveis em https://huggingface.co/datasets/google/coverbench.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .