Загадочный случай фактического (не)соответствия между краткими и развернутыми ответами языковых моделей

The Curious Case of Factual (Mis)Alignment between LLMs' Short- and Long-Form Answers

October 13, 2025

Авторы: Saad Obaid ul Islam, Anne Lauscher, Goran Glavaš

cs.AI

Аннотация

Крупные языковые модели (LLM) могут правильно ответить на вопрос «Когда родился Эйнштейн?», но не предоставить ту же дату при написании текста о жизни Эйнштейна, что выявляет фундаментальную несогласованность в том, как модели обращаются к фактическим знаниям в зависимости от сложности задачи. Хотя модели демонстрируют впечатляющую точность на тестах по ответам на фактические вопросы, разрыв в надежности между простыми и сложными запросами остается плохо изученным, что подрывает их доверительность. В данной работе мы представляем метод Short-Long Form Alignment for Factual Question Answering (SLAQ) — контролируемую оценочную структуру, которая сравнивает ответы LLM на одни и те же фактические вопросы, заданные (а) изолированно (короткая форма) и (б) встроенные в сложные запросы (длинная форма). Исследуя 16 LLM на 600 запросах, мы обнаруживаем систематическое несоответствие ответов на соответствующие короткие и длинные запросы. Мы также выявляем потерю точности, зависящую от позиции, и эффекты инерции, когда последовательные правильные или неправильные ответы создают самоподдерживающиеся паттерны. С помощью механистического анализа мы обнаруживаем, что согласованные факты активируют перекрывающиеся внутренние компоненты модели, и что метрики, основанные на механистическом сходстве, могут предсказывать согласованность ответов на короткие и длинные запросы с точностью до 78%. Наша работа устанавливает фактологическую согласованность в зависимости от сложности запроса как важный аспект доверительности LLM и ставит под сомнение текущие оценочные практики, которые неявно предполагают, что хорошая производительность на простых фактологических запросах подразумевает надежность и в более сложных задачах поиска знаний.

English

Large language models (LLMs) can correctly answer "When was Einstein born?" yet fail to provide the same date when writing about Einstein's life revealing a fundamental inconsistency in how models access factual knowledge across task complexities. While models display impressive accuracy on factual question-answering benchmarks, the reliability gap between simple and complex queries remains poorly understood, eroding their trustworthiness. In this work, we introduce Short-Long Form Alignment for Factual Question Answering (SLAQ), a controlled evaluation framework that compares LLMs' answers to the same factual questions asked (a) in isolation (short) vs. (b) integrated into complex queries (long). Looking at 16 LLMs across 600 queries, we find a systematic misalignment of answers to the corresponding short and long queries. We further uncover position-dependent accuracy loss and momentum effects where consecutive correct or incorrect answers create self-reinforcing patterns. Through mechanistic analysis, we find that aligned facts activate overlapping model internals, and that metrics based on mechanistic similarity can predict short-long answer alignment with up to 78% accuracy. Our work establishes factual consistency over query complexity as an important aspect of LLMs' trustworthiness and challenges current evaluation practices, which implicitly assume that good performance for simple factual queries implies reliability in more complex knowledge-seeking tasks too.