LLM знают больше, чем они показывают: о внутреннем представлении галлюцинаций LLM.

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Авторы: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Аннотация

Большие языковые модели (LLM) часто допускают ошибки, включая фактические неточности, предвзятость и сбои в рассуждениях, которые в целом называются "галлюцинациями". Недавние исследования показали, что внутренние состояния LLM кодируют информацию о достоверности их результатов, и что эту информацию можно использовать для обнаружения ошибок. В данной работе мы показываем, что внутренние представления LLM содержат гораздо больше информации о достоверности, чем это было признано ранее. Сначала мы обнаруживаем, что информация о достоверности сосредоточена в определенных токенах, и использование этого свойства значительно повышает производительность обнаружения ошибок. Однако мы показываем, что такие детекторы ошибок не способны обобщаться на различные наборы данных, что подразумевает, что -- вопреки предыдущим утверждениям -- кодирование достоверности не является универсальным, а скорее многоаспектным. Затем мы показываем, что внутренние представления также могут использоваться для предсказания типов ошибок, которые модель склонна допускать, что облегчает разработку индивидуализированных стратегий смягчения. Наконец, мы раскрываем расхождение между внутренним кодированием LLM и внешним поведением: они могут кодировать правильный ответ, но при этом последовательно генерировать неправильный. Все эти умозаключения углубляют наше понимание ошибок LLM с точки зрения внутренней модели, что может направить будущие исследования по улучшению анализа ошибок и их смягчению.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.