Het merkwaardige geval van feitelijke (mis)afstemming tussen korte en lange antwoorden van LLM's

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers

October 13, 2025

Auteurs: Saad Obaid ul Islam, Anne Lauscher, Goran Glavaš

cs.AI

Samenvatting

Grote taalmodellen (LLM's) kunnen correct antwoorden op de vraag "Wanneer is Einstein geboren?", maar slagen er niet in dezelfde datum te geven wanneer ze over Einsteins leven schrijven, wat een fundamentele inconsistentie onthult in hoe modellen feitelijke kennis benaderen bij verschillende taakcomplexiteiten. Hoewel modellen indrukwekkende nauwkeurigheid vertonen op benchmarks voor feitelijke vraag-antwoordtaken, blijft de betrouwbaarheidskloof tussen eenvoudige en complexe vragen slecht begrepen, wat hun vertrouwwaardigheid ondermijnt. In dit werk introduceren we Short-Long Form Alignment for Factual Question Answering (SLAQ), een gecontroleerd evaluatiekader dat de antwoorden van LLM's op dezelfde feitelijke vragen vergelijkt wanneer deze (a) geïsoleerd (kort) versus (b) geïntegreerd in complexe vragen (lang) worden gesteld. Door 16 LLM's te onderzoeken over 600 vragen, vinden we een systematische misalignering van antwoorden op de corresponderende korte en lange vragen. We ontdekken verder positie-afhankelijk nauwkeurigheidsverlies en momentum-effecten waarbij opeenvolgende correcte of incorrecte antwoorden zelfversterkende patronen creëren. Door mechanistische analyse vinden we dat gealigneerde feiten overlappende interne modelcomponenten activeren, en dat metriek gebaseerd op mechanistische gelijkenis de alignering van korte en lange antwoorden met een nauwkeurigheid van tot 78% kan voorspellen. Ons werk stelt feitelijke consistentie over vraagcomplexiteit vast als een belangrijk aspect van de vertrouwwaardigheid van LLM's en daagt huidige evaluatiepraktijken uit, die impliciet aannemen dat goede prestaties op eenvoudige feitelijke vragen ook betrouwbaarheid impliceert in complexere kenniszoektaken.

English

Large language models (LLMs) can correctly answer "When was Einstein born?" yet fail to provide the same date when writing about Einstein's life revealing a fundamental inconsistency in how models access factual knowledge across task complexities. While models display impressive accuracy on factual question-answering benchmarks, the reliability gap between simple and complex queries remains poorly understood, eroding their trustworthiness. In this work, we introduce Short-Long Form Alignment for Factual Question Answering (SLAQ), a controlled evaluation framework that compares LLMs' answers to the same factual questions asked (a) in isolation (short) vs. (b) integrated into complex queries (long). Looking at 16 LLMs across 600 queries, we find a systematic misalignment of answers to the corresponding short and long queries. We further uncover position-dependent accuracy loss and momentum effects where consecutive correct or incorrect answers create self-reinforcing patterns. Through mechanistic analysis, we find that aligned facts activate overlapping model internals, and that metrics based on mechanistic similarity can predict short-long answer alignment with up to 78% accuracy. Our work establishes factual consistency over query complexity as an important aspect of LLMs' trustworthiness and challenges current evaluation practices, which implicitly assume that good performance for simple factual queries implies reliability in more complex knowledge-seeking tasks too.