AbstentionBench: Ошибки языковых моделей при обработке неразрешимых вопросов

AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions

June 10, 2025

Авторы: Polina Kirichenko, Mark Ibrahim, Kamalika Chaudhuri, Samuel J. Bell

cs.AI

Аннотация

Для надежного развертывания крупных языковых моделей (LLM) как в повседневных, так и в критически важных областях, умение определить, когда не отвечать, столь же важно, как и способность давать правильные ответы. Реальные запросы пользователей, которые могут быть неполными, некорректно сформулированными или принципиально неразрешимыми, требуют от LLM способности рассуждать о неопределенности и избирательно воздерживаться от ответа — то есть отказываться давать окончательный ответ. Однако проблема воздержания остается недостаточно изученной, и для современных LLM отсутствует систематическая структура оценки. В данной работе мы представляем AbstentionBench — масштабный бенчмарк для комплексной оценки воздержания на основе 20 разнообразных наборов данных, включающих вопросы с неизвестными ответами, неполными условиями, ложными предпосылками, субъективными интерпретациями и устаревшей информацией. Оценка 20 передовых LLM показывает, что проблема воздержания остается нерешенной, и масштабирование моделей мало помогает в ее решении. Хотя недавние модели, ориентированные на рассуждения, продемонстрировали впечатляющие результаты в решении сложных задач, удивительно, что мы обнаружили, что тонкая настройка на рассуждения ухудшает способность к воздержанию (в среднем на 24%), даже в областях математики и естественных наук, на которых такие модели явно обучались. Мы также выяснили, что хотя тщательно разработанный системный запрос может улучшить воздержание на практике, он не устраняет фундаментальную неспособность моделей рассуждать о неопределенности. Мы публикуем AbstentionBench для стимулирования исследований, направленных на повышение надежности LLM.

English

For Large Language Models (LLMs) to be reliably deployed in both everyday and high-stakes domains, knowing when not to answer is equally critical as answering correctly. Real-world user queries, which can be underspecified, ill-posed, or fundamentally unanswerable, require LLMs to reason about uncertainty and selectively abstain -- i.e., refuse to answer definitively. However, abstention remains understudied, without a systematic evaluation framework for modern LLMs. In this work, we introduce AbstentionBench, a large-scale benchmark for holistically evaluating abstention across 20 diverse datasets, including questions with unknown answers, underspecification, false premises, subjective interpretations, and outdated information. Evaluating 20 frontier LLMs reveals abstention is an unsolved problem, and one where scaling models is of little use. While recent reasoning LLMs have shown impressive results in complex problem solving, surprisingly, we find that reasoning fine-tuning degrades abstention (by 24% on average), even for math and science domains on which reasoning models are explicitly trained. We find that while a carefully crafted system prompt can boost abstention in practice, it does not resolve models' fundamental inability to reason about uncertainty. We release AbstentionBench to foster research into advancing LLM reliability.