LLM은 보여주는 것보다 더 많은 것을 알고 있다: LLM 환각의 본질적 표현에 관하여

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

저자: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

초록

대형 언어 모델(Large language models, LLMs)은 종종 사실적 부정확성, 편향, 그리고 추론 실패를 포함한 오류를 생성하는데, 이를 "환각"이라고 일반적으로 지칭한다. 최근 연구들은 LLMs의 내부 상태가 출력의 진실성에 관한 정보를 인코딩하고, 이 정보가 오류를 감지하는 데 활용될 수 있다는 것을 입증했다. 본 연구에서는 LLMs의 내부 표현이 이전에 인식된 것보다 훨씬 더 많은 진실성 정보를 인코딩한다는 것을 보여준다. 우리는 먼저 진실성 정보가 특정 토큰에 집중되어 있음을 발견하고, 이 특성을 활용하여 오류 감지 성능을 크게 향상시킨다. 그러나 이러한 오류 탐지기가 데이터셋을 통해 일반화하지 못하는 것을 보여주며, 이는 이전 주장과는 달리 진실성 인코딩이 보편적이 아닌 다면껏인 것을 시사한다. 그 다음, 내부 표현이 모델이 만들 가능성이 있는 오류 유형을 예측하는 데 사용될 수 있음을 보여주며, 맞춤형 완화 전략 개발을 용이하게 한다. 마지막으로, LLMs의 내부 인코딩과 외부 행동 간의 불일치를 드러내는데, 이는 정답을 인코딩하지만 일관되게 잘못된 답변을 생성할 수 있다는 것을 의미한다. 이러한 통찰력을 종합함으로써, 이러한 모델의 내부 관점에서 LLM 오류에 대한 우리의 이해를 깊게 하고, 향후 오류 분석과 완화에 대한 연구를 이끌어낼 수 있다.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.