Der merkwürdige Fall der faktischen (Fehl-)Ausrichtung zwischen kurzen und langen Antworten von LLMs

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers

October 13, 2025

papers.authors: Saad Obaid ul Islam, Anne Lauscher, Goran Glavaš

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) können die Frage „Wann wurde Einstein geboren?“ korrekt beantworten, scheitern jedoch daran, dasselbe Datum anzugeben, wenn sie über Einsteins Leben schreiben. Dies offenbart eine grundlegende Inkonsistenz darin, wie Modelle faktisches Wissen über verschiedene Aufgabenkomplexitäten hinweg abrufen. Obwohl Modelle beeindruckende Genauigkeit bei faktischen Frage-Antwort-Benchmarks zeigen, bleibt die Zuverlässigkeitslücke zwischen einfachen und komplexen Anfragen weitgehend unverstanden, was ihr Vertrauenswürdigkeit untergräbt. In dieser Arbeit stellen wir Short-Long Form Alignment for Factual Question Answering (SLAQ) vor, ein kontrolliertes Evaluationsframework, das die Antworten von LLMs auf dieselben faktischen Fragen vergleicht, die (a) isoliert (kurz) bzw. (b) in komplexe Anfragen integriert (lang) gestellt werden. Anhand von 16 LLMs und 600 Anfragen zeigen wir eine systematische Fehlausrichtung der Antworten auf die entsprechenden kurzen und langen Anfragen. Weiterhin decken wir positionsabhängige Genauigkeitsverluste und Momentum-Effekte auf, bei denen aufeinanderfolgende korrekte oder falsche Antworten selbstverstärkende Muster erzeugen. Durch mechanistische Analysen stellen wir fest, dass übereinstimmende Fakten überlappende Modellinterna aktivieren und dass Metriken basierend auf mechanistischer Ähnlichkeit die Kurz-Lang-Antwort-Ausrichtung mit bis zu 78 % Genauigkeit vorhersagen können. Unsere Arbeit etabliert die faktische Konsistenz über die Anfragekomplexität hinweg als einen wichtigen Aspekt der Vertrauenswürdigkeit von LLMs und stellt aktuelle Evaluationspraktiken in Frage, die implizit davon ausgehen, dass gute Leistung bei einfachen faktischen Anfragen auch Zuverlässigkeit bei komplexeren wissensbasierten Aufgaben impliziert.

English

Large language models (LLMs) can correctly answer "When was Einstein born?" yet fail to provide the same date when writing about Einstein's life revealing a fundamental inconsistency in how models access factual knowledge across task complexities. While models display impressive accuracy on factual question-answering benchmarks, the reliability gap between simple and complex queries remains poorly understood, eroding their trustworthiness. In this work, we introduce Short-Long Form Alignment for Factual Question Answering (SLAQ), a controlled evaluation framework that compares LLMs' answers to the same factual questions asked (a) in isolation (short) vs. (b) integrated into complex queries (long). Looking at 16 LLMs across 600 queries, we find a systematic misalignment of answers to the corresponding short and long queries. We further uncover position-dependent accuracy loss and momentum effects where consecutive correct or incorrect answers create self-reinforcing patterns. Through mechanistic analysis, we find that aligned facts activate overlapping model internals, and that metrics based on mechanistic similarity can predict short-long answer alignment with up to 78% accuracy. Our work establishes factual consistency over query complexity as an important aspect of LLMs' trustworthiness and challenges current evaluation practices, which implicitly assume that good performance for simple factual queries implies reliability in more complex knowledge-seeking tasks too.