Le Cas Curieux de l'(In)Adéquation Factuelle entre les Réponses Courtes et Longues des Modèles de Langue

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers

October 13, 2025

papers.authors: Saad Obaid ul Islam, Anne Lauscher, Goran Glavaš

cs.AI

papers.abstract

Les grands modèles de langage (LLM) peuvent répondre correctement à la question « Quand Einstein est-il né ? » tout en échouant à fournir la même date lorsqu'ils rédigent un texte sur la vie d'Einstein, révélant ainsi une incohérence fondamentale dans la manière dont ces modèles accèdent aux connaissances factuelles selon la complexité des tâches. Bien que ces modèles affichent une précision impressionnante sur les benchmarks de question-réponse factuelle, l'écart de fiabilité entre les requêtes simples et complexes reste mal compris, ce qui compromet leur fiabilité. Dans ce travail, nous introduisons l'Alignement des Formes Courtes et Longues pour la Réponse à des Questions Factuelles (SLAQ), un cadre d'évaluation contrôlé qui compare les réponses des LLM à des questions factuelles posées (a) de manière isolée (forme courte) versus (b) intégrées dans des requêtes complexes (forme longue). En examinant 16 LLM sur 600 requêtes, nous observons un désalignement systématique des réponses entre les formes courtes et longues correspondantes. Nous mettons également en évidence une perte de précision dépendante de la position et des effets de momentum où des réponses correctes ou incorrectes consécutives créent des schémas auto-renforçants. Grâce à une analyse mécaniste, nous constatons que les faits alignés activent des parties internes du modèle qui se chevauchent, et que des métriques basées sur la similarité mécaniste peuvent prédire l'alignement des réponses courtes-longues avec une précision allant jusqu'à 78 %. Notre travail établit la cohérence factuelle face à la complexité des requêtes comme un aspect crucial de la fiabilité des LLM et remet en question les pratiques d'évaluation actuelles, qui supposent implicitement qu'une bonne performance sur des questions factuelles simples implique également une fiabilité dans des tâches de recherche de connaissances plus complexes.

English

Large language models (LLMs) can correctly answer "When was Einstein born?" yet fail to provide the same date when writing about Einstein's life revealing a fundamental inconsistency in how models access factual knowledge across task complexities. While models display impressive accuracy on factual question-answering benchmarks, the reliability gap between simple and complex queries remains poorly understood, eroding their trustworthiness. In this work, we introduce Short-Long Form Alignment for Factual Question Answering (SLAQ), a controlled evaluation framework that compares LLMs' answers to the same factual questions asked (a) in isolation (short) vs. (b) integrated into complex queries (long). Looking at 16 LLMs across 600 queries, we find a systematic misalignment of answers to the corresponding short and long queries. We further uncover position-dependent accuracy loss and momentum effects where consecutive correct or incorrect answers create self-reinforcing patterns. Through mechanistic analysis, we find that aligned facts activate overlapping model internals, and that metrics based on mechanistic similarity can predict short-long answer alignment with up to 78% accuracy. Our work establishes factual consistency over query complexity as an important aspect of LLMs' trustworthiness and challenges current evaluation practices, which implicitly assume that good performance for simple factual queries implies reliability in more complex knowledge-seeking tasks too.