Il curioso caso della (dis)allineamento fattuale tra le risposte brevi e lunghe dei modelli linguistici di grandi dimensioni

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers

October 13, 2025

Autori: Saad Obaid ul Islam, Anne Lauscher, Goran Glavaš

cs.AI

Abstract

I grandi modelli linguistici (LLM) possono rispondere correttamente alla domanda "Quando è nato Einstein?" ma falliscono nel fornire la stessa data quando scrivono della vita di Einstein, rivelando un'incongruenza fondamentale nel modo in cui i modelli accedono alla conoscenza fattuale attraverso diversi livelli di complessità dei compiti. Sebbene i modelli dimostrino un'accuratezza impressionante nei benchmark di risposta a domande fattuali, il divario di affidabilità tra query semplici e complesse rimane poco compreso, minando la loro affidabilità. In questo lavoro, introduciamo l'Allineamento Breve-Lungo per la Risposta a Domande Fattuali (SLAQ), un framework di valutazione controllato che confronta le risposte degli LLM alle stesse domande fattuali poste (a) in isolamento (breve) rispetto a (b) integrate in query complesse (lunghe). Analizzando 16 LLM su 600 query, riscontriamo un disallineamento sistematico delle risposte alle corrispondenti query brevi e lunghe. Scopriamo inoltre una perdita di accuratezza dipendente dalla posizione e effetti di momentum in cui risposte corrette o errate consecutive creano schemi auto-rinforzanti. Attraverso un'analisi meccanicistica, troviamo che i fatti allineati attivano parti interne del modello che si sovrappongono e che metriche basate sulla similarità meccanicistica possono prevedere l'allineamento delle risposte brevi-lunghe con un'accuratezza fino al 78%. Il nostro lavoro stabilisce la coerenza fattuale rispetto alla complessità della query come un aspetto importante dell'affidabilità degli LLM e mette in discussione le pratiche di valutazione attuali, che implicitamente assumono che una buona performance per query fattuali semplici implichi anche affidabilità in compiti di ricerca di conoscenza più complessi.

English

Large language models (LLMs) can correctly answer "When was Einstein born?" yet fail to provide the same date when writing about Einstein's life revealing a fundamental inconsistency in how models access factual knowledge across task complexities. While models display impressive accuracy on factual question-answering benchmarks, the reliability gap between simple and complex queries remains poorly understood, eroding their trustworthiness. In this work, we introduce Short-Long Form Alignment for Factual Question Answering (SLAQ), a controlled evaluation framework that compares LLMs' answers to the same factual questions asked (a) in isolation (short) vs. (b) integrated into complex queries (long). Looking at 16 LLMs across 600 queries, we find a systematic misalignment of answers to the corresponding short and long queries. We further uncover position-dependent accuracy loss and momentum effects where consecutive correct or incorrect answers create self-reinforcing patterns. Through mechanistic analysis, we find that aligned facts activate overlapping model internals, and that metrics based on mechanistic similarity can predict short-long answer alignment with up to 78% accuracy. Our work establishes factual consistency over query complexity as an important aspect of LLMs' trustworthiness and challenges current evaluation practices, which implicitly assume that good performance for simple factual queries implies reliability in more complex knowledge-seeking tasks too.