AssertBench: Un Punto de Referencia para Evaluar la Autoafirmación en Modelos de Lenguaje a Gran Escala

AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models

June 8, 2025

Autores: Jaeho Lee, Atharv Chowdhary

cs.AI

Resumen

Los recientes puntos de referencia han explorado la consistencia factual y la robustez retórica en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés). Sin embargo, existe una brecha de conocimiento sobre cómo el encuadre direccional de afirmaciones factualmente verdaderas influye en la concordancia del modelo, un escenario común para los usuarios de LLMs. AssertBench aborda este problema mediante el muestreo de hechos respaldados por evidencia provenientes de FEVEROUS, un conjunto de datos de verificación de hechos. Para cada hecho (respaldado por evidencia), construimos dos indicaciones de encuadre: una en la que el usuario afirma que la declaración es factualmente correcta y otra en la que el usuario afirma que es incorrecta. Luego, registramos la concordancia y el razonamiento del modelo. El resultado deseado es que el modelo se mantenga firme, manteniendo una evaluación consistente de la verdad en ambos encuadres, en lugar de cambiar su evaluación para coincidir con el usuario. AssertBench aísla la variabilidad inducida por el encuadre del conocimiento factual subyacente del modelo al estratificar los resultados según la precisión del modelo en las mismas afirmaciones cuando se presentan de manera neutral. De esta manera, este punto de referencia busca medir la capacidad de un LLM para "mantenerse firme" cuando se enfrenta a afirmaciones contradictorias del usuario sobre el mismo hecho. El código fuente completo está disponible en https://github.com/achowd32/assert-bench.

English

Recent benchmarks have probed factual consistency and rhetorical robustness in Large Language Models (LLMs). However, a knowledge gap exists regarding how directional framing of factually true statements influences model agreement, a common scenario for LLM users. AssertBench addresses this by sampling evidence-supported facts from FEVEROUS, a fact verification dataset. For each (evidence-backed) fact, we construct two framing prompts: one where the user claims the statement is factually correct, and another where the user claims it is incorrect. We then record the model's agreement and reasoning. The desired outcome is that the model asserts itself, maintaining consistent truth evaluation across both framings, rather than switching its evaluation to agree with the user. AssertBench isolates framing-induced variability from the model's underlying factual knowledge by stratifying results based on the model's accuracy on the same claims when presented neutrally. In doing so, this benchmark aims to measure an LLM's ability to "stick to its guns" when presented with contradictory user assertions about the same fact. The complete source code is available at https://github.com/achowd32/assert-bench.