AssertBench: Um Benchmark para Avaliar a Autoafirmação em Modelos de Linguagem de Grande Escala

AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models

June 8, 2025

Autores: Jaeho Lee, Atharv Chowdhary

cs.AI

Resumo

Bancadas recentes têm investigado a consistência factual e a robustez retórica em Modelos de Linguagem de Grande Escala (LLMs). No entanto, existe uma lacuna de conhecimento sobre como o enquadramento direcional de declarações factualmente verdadeiras influencia o acordo do modelo, um cenário comum para usuários de LLMs. O AssertBench aborda isso ao amostrar fatos apoiados por evidências do FEVEROUS, um conjunto de dados de verificação de fatos. Para cada fato (respaldado por evidências), construímos dois prompts de enquadramento: um em que o usuário afirma que a declaração é factualmente correta e outro em que o usuário afirma que é incorreta. Em seguida, registramos o acordo e o raciocínio do modelo. O resultado desejado é que o modelo se afirme, mantendo uma avaliação consistente da verdade em ambos os enquadramentos, em vez de mudar sua avaliação para concordar com o usuário. O AssertBench isola a variabilidade induzida pelo enquadramento do conhecimento factual subjacente do modelo, estratificando os resultados com base na precisão do modelo nas mesmas afirmações quando apresentadas de forma neutra. Ao fazer isso, esse benchmark visa medir a capacidade de um LLM de "manter-se firme" quando confrontado com afirmações contraditórias do usuário sobre o mesmo fato. O código-fonte completo está disponível em https://github.com/achowd32/assert-bench.

English

Recent benchmarks have probed factual consistency and rhetorical robustness in Large Language Models (LLMs). However, a knowledge gap exists regarding how directional framing of factually true statements influences model agreement, a common scenario for LLM users. AssertBench addresses this by sampling evidence-supported facts from FEVEROUS, a fact verification dataset. For each (evidence-backed) fact, we construct two framing prompts: one where the user claims the statement is factually correct, and another where the user claims it is incorrect. We then record the model's agreement and reasoning. The desired outcome is that the model asserts itself, maintaining consistent truth evaluation across both framings, rather than switching its evaluation to agree with the user. AssertBench isolates framing-induced variability from the model's underlying factual knowledge by stratifying results based on the model's accuracy on the same claims when presented neutrally. In doing so, this benchmark aims to measure an LLM's ability to "stick to its guns" when presented with contradictory user assertions about the same fact. The complete source code is available at https://github.com/achowd32/assert-bench.