Les LLM en savent plus qu'ils ne montrent : Sur la représentation intrinsèque des hallucinations des LLM

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Auteurs: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Résumé

Les grands modèles de langage (LLM) produisent souvent des erreurs, y compris des inexactitudes factuelles, des biais et des échecs de raisonnement, collectivement appelés "hallucinations". Des études récentes ont démontré que les états internes des LLM codent des informations concernant la véracité de leurs résultats, et que ces informations peuvent être utilisées pour détecter les erreurs. Dans ce travail, nous montrons que les représentations internes des LLM codent beaucoup plus d'informations sur la véracité que ce qui était précédemment reconnu. Nous découvrons d'abord que les informations de véracité sont concentrées dans des jetons spécifiques, et en exploitant cette propriété, nous améliorons significativement les performances de détection d'erreurs. Cependant, nous montrons que de tels détecteurs d'erreurs ne parviennent pas à généraliser à travers les ensembles de données, ce qui implique que - contrairement aux affirmations antérieures - le codage de la véracité n'est pas universel mais plutôt multifacette. Ensuite, nous montrons que les représentations internes peuvent également être utilisées pour prédire les types d'erreurs que le modèle est susceptible de commettre, facilitant le développement de stratégies d'atténuation adaptées. Enfin, nous révélons une divergence entre le codage interne des LLM et leur comportement externe : ils peuvent coder la bonne réponse, mais générer systématiquement une réponse incorrecte. Dans l'ensemble, ces observations approfondissent notre compréhension des erreurs des LLM du point de vue interne du modèle, ce qui peut orienter les futures recherches sur l'amélioration de l'analyse et de l'atténuation des erreurs.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.