AssertBench: Un Benchmark per Valutare l'Auto-Asserzione nei Modelli Linguistici di Grandi Dimensioni

AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models

June 8, 2025

Autori: Jaeho Lee, Atharv Chowdhary

cs.AI

Abstract

Recenti benchmark hanno esaminato la coerenza fattuale e la robustezza retorica nei Modelli Linguistici di Grande Dimensione (LLM). Tuttavia, esiste una lacuna di conoscenza riguardo a come l'inquadramento direzionale di affermazioni fattualmente vere influenzi l'accordo del modello, uno scenario comune per gli utenti di LLM. AssertBench affronta questo problema campionando fatti supportati da evidenze da FEVEROUS, un dataset di verifica fattuale. Per ogni fatto (supportato da evidenze), costruiamo due prompt di inquadramento: uno in cui l'utente afferma che l'affermazione è corretta dal punto di vista fattuale, e un altro in cui l'utente afferma che è errata. Registriamo quindi l'accordo e il ragionamento del modello. L'esito desiderato è che il modello si affermi, mantenendo una valutazione coerente della verità in entrambi gli inquadramenti, piuttosto che cambiare la sua valutazione per concordare con l'utente. AssertBench isola la variabilità indotta dall'inquadramento dalla conoscenza fattuale sottostante del modello stratificando i risultati in base all'accuratezza del modello sulle stesse affermazioni quando presentate in modo neutro. In questo modo, questo benchmark mira a misurare la capacità di un LLM di "mantenere le proprie posizioni" quando viene presentato con affermazioni contraddittorie dell'utente riguardo allo stesso fatto. Il codice sorgente completo è disponibile all'indirizzo https://github.com/achowd32/assert-bench.

English

Recent benchmarks have probed factual consistency and rhetorical robustness in Large Language Models (LLMs). However, a knowledge gap exists regarding how directional framing of factually true statements influences model agreement, a common scenario for LLM users. AssertBench addresses this by sampling evidence-supported facts from FEVEROUS, a fact verification dataset. For each (evidence-backed) fact, we construct two framing prompts: one where the user claims the statement is factually correct, and another where the user claims it is incorrect. We then record the model's agreement and reasoning. The desired outcome is that the model asserts itself, maintaining consistent truth evaluation across both framings, rather than switching its evaluation to agree with the user. AssertBench isolates framing-induced variability from the model's underlying factual knowledge by stratifying results based on the model's accuracy on the same claims when presented neutrally. In doing so, this benchmark aims to measure an LLM's ability to "stick to its guns" when presented with contradictory user assertions about the same fact. The complete source code is available at https://github.com/achowd32/assert-bench.