LLM's Weten Meer Dan Ze Laten Zien: Over de Intrinsieke Representatie van LLM Hallucinaties

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Auteurs: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Samenvatting

Grote taalmodellen (LLM's) produceren vaak fouten, waaronder feitelijke onjuistheden, vooroordelen en redeneerfouten, gezamenlijk aangeduid als "hallucinaties". Recente studies hebben aangetoond dat de interne toestanden van LLM's informatie coderen met betrekking tot de waarheidsgetrouwheid van hun uitvoer, en dat deze informatie kan worden gebruikt om fouten op te sporen. In dit werk tonen we aan dat de interne representaties van LLM's veel meer informatie over waarheidsgetrouwheid coderen dan voorheen werd erkend. We ontdekken eerst dat de informatie over waarheidsgetrouwheid geconcentreerd is in specifieke tokens, en het benutten van deze eigenschap verbetert aanzienlijk de prestaties van foutdetectie. Toch tonen we aan dat dergelijke foutdetectoren niet generaliseren over datasets, wat impliceert dat - in tegenstelling tot eerdere beweringen - waarheidsgetrouwheidscodering niet universeel is maar eerder veelzijdig. Vervolgens tonen we aan dat interne representaties ook kunnen worden gebruikt om de soorten fouten te voorspellen die het model waarschijnlijk zal maken, wat de ontwikkeling van op maat gemaakte mitigatiestrategieën vergemakkelijkt. Ten slotte onthullen we een discrepantie tussen de interne codering van LLM's en hun externe gedrag: ze kunnen het juiste antwoord coderen, maar consequent een incorrect antwoord genereren. Samengevat verdiepen deze inzichten ons begrip van LLM-fouten vanuit het interne perspectief van het model, wat toekomstig onderzoek kan sturen bij het verbeteren van foutenanalyse en -mitigatie.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.