CoverBench: Сложный бенчмарк для верификации сложных утверждений

CoverBench: A Challenging Benchmark for Complex Claim Verification

August 6, 2024

Авторы: Alon Jacovi, Moran Ambar, Eyal Ben-David, Uri Shaham, Amir Feder, Mor Geva, Dror Marcus, Avi Caciularu

cs.AI

Аннотация

Существует растущая линия исследований по проверке корректности выводов языковых моделей. В то же время ЯМ используются для решения сложных запросов, требующих рассуждений. Мы представляем CoverBench - сложный бенчмарк, сосредоточенный на проверке выводов ЯМ в сложных сценариях рассуждений. Наборы данных, которые могут использоваться для этой цели, часто разрабатываются для других сложных задач рассуждений (например, QA), охватывающих конкретные случаи использования (например, финансовые таблицы), что требует преобразований, отрицательной выборки и выбора сложных примеров для создания такого бенчмарка. CoverBench обеспечивает разнообразную оценку сложной проверки утверждений в различных областях, типах рассуждений, относительно длинных входных данных, а также различных стандартизаций, таких как множественные представления для таблиц, где это возможно, и последовательную схему. Мы вручную проверяем данные на качество, чтобы обеспечить низкий уровень шума меток. Наконец, мы сообщаем о различных конкурентоспособных базовых результатов, чтобы показать, что CoverBench вызывает трудности и имеет значительный потенциал. Данные доступны по ссылке https://huggingface.co/datasets/google/coverbench.

English

There is a growing line of research on verifying the correctness of language models' outputs. At the same time, LMs are being used to tackle complex queries that require reasoning. We introduce CoverBench, a challenging benchmark focused on verifying LM outputs in complex reasoning settings. Datasets that can be used for this purpose are often designed for other complex reasoning tasks (e.g., QA) targeting specific use-cases (e.g., financial tables), requiring transformations, negative sampling and selection of hard examples to collect such a benchmark. CoverBench provides a diversified evaluation for complex claim verification in a variety of domains, types of reasoning, relatively long inputs, and a variety of standardizations, such as multiple representations for tables where available, and a consistent schema. We manually vet the data for quality to ensure low levels of label noise. Finally, we report a variety of competitive baseline results to show CoverBench is challenging and has very significant headroom. The data is available at https://huggingface.co/datasets/google/coverbench .