LLMs wissen mehr, als sie zeigen: Über die intrinsische Repräsentation von LLM-Halluzinationen.

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Autoren: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) produzieren oft Fehler, einschließlich sachlicher Ungenauigkeiten, Voreingenommenheiten und Fehler im Denken, die gemeinsam als "Halluzinationen" bezeichnet werden. Aktuelle Studien haben gezeigt, dass die internen Zustände von LLMs Informationen über die Wahrhaftigkeit ihrer Ausgaben codieren und dass diese Informationen genutzt werden können, um Fehler zu erkennen. In dieser Arbeit zeigen wir, dass die internen Repräsentationen von LLMs viel mehr Informationen über die Wahrhaftigkeit codieren als bisher angenommen. Zunächst entdecken wir, dass die Informationen über die Wahrhaftigkeit in bestimmten Tokens konzentriert sind und dass die Nutzung dieser Eigenschaft die Leistung der Fehlererkennung signifikant verbessert. Dennoch zeigen wir, dass solche Fehlerdetektoren nicht über Datensätze hinweg generalisieren, was darauf hindeutet, dass - im Gegensatz zu früheren Behauptungen - die Codierung der Wahrhaftigkeit nicht universell, sondern vielschichtig ist. Als Nächstes zeigen wir, dass interne Repräsentationen auch zur Vorhersage der Arten von Fehlern verwendet werden können, die das Modell wahrscheinlich machen wird, was die Entwicklung maßgeschneiderter Minderungsstrategien erleichtert. Schließlich enthüllen wir eine Diskrepanz zwischen der internen Codierung von LLMs und ihrem externen Verhalten: Sie können die richtige Antwort codieren, aber dennoch konsequent eine falsche generieren. Zusammenfassend vertiefen diese Erkenntnisse unser Verständnis von LLM-Fehlern aus der internen Perspektive des Modells, was zukünftige Forschung zur Verbesserung der Fehleranalyse und -minderung lenken kann.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.