AssertBench: Бенчмарк для оценки самоутверждения в крупных языковых моделях

AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models

June 8, 2025

Авторы: Jaeho Lee, Atharv Chowdhary

cs.AI

Аннотация

Недавние тесты исследовали фактологическую согласованность и риторическую устойчивость в больших языковых моделях (LLM). Однако существует пробел в знаниях о том, как направленное формулирование фактологически верных утверждений влияет на согласие модели, что является распространённым сценарием для пользователей LLM. AssertBench решает эту проблему, выбирая факты, подтверждённые доказательствами, из набора данных FEVEROUS, предназначенного для проверки фактов. Для каждого (подтверждённого доказательствами) факта мы создаём два варианта формулировок: один, где пользователь утверждает, что утверждение является фактологически верным, и другой, где пользователь утверждает, что оно неверно. Затем мы фиксируем согласие модели и её аргументацию. Желаемый результат заключается в том, чтобы модель оставалась уверенной в своих суждениях, сохраняя последовательную оценку истинности в обоих вариантах формулировок, а не меняла свою оценку, чтобы согласиться с пользователем. AssertBench изолирует изменчивость, вызванную формулировками, от базовых знаний модели, стратифицируя результаты на основе точности модели на тех же утверждениях, представленных в нейтральной форме. Таким образом, этот тест направлен на измерение способности LLM "стоять на своём", когда ей предъявляют противоречивые утверждения пользователя об одном и том же факте. Полный исходный код доступен по адресу https://github.com/achowd32/assert-bench.

English

Recent benchmarks have probed factual consistency and rhetorical robustness in Large Language Models (LLMs). However, a knowledge gap exists regarding how directional framing of factually true statements influences model agreement, a common scenario for LLM users. AssertBench addresses this by sampling evidence-supported facts from FEVEROUS, a fact verification dataset. For each (evidence-backed) fact, we construct two framing prompts: one where the user claims the statement is factually correct, and another where the user claims it is incorrect. We then record the model's agreement and reasoning. The desired outcome is that the model asserts itself, maintaining consistent truth evaluation across both framings, rather than switching its evaluation to agree with the user. AssertBench isolates framing-induced variability from the model's underlying factual knowledge by stratifying results based on the model's accuracy on the same claims when presented neutrally. In doing so, this benchmark aims to measure an LLM's ability to "stick to its guns" when presented with contradictory user assertions about the same fact. The complete source code is available at https://github.com/achowd32/assert-bench.