Los LLMs Saben Más de lo que Muestran: Sobre la Representación Intrínseca de Alucinaciones de LLM

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Autores: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) a menudo producen errores, incluyendo inexactitudes factuales, sesgos y fallos de razonamiento, colectivamente referidos como "alucinaciones". Estudios recientes han demostrado que los estados internos de los LLMs codifican información sobre la veracidad de sus salidas, y que esta información puede ser utilizada para detectar errores. En este trabajo, mostramos que las representaciones internas de los LLMs codifican mucha más información sobre la veracidad de lo reconocido previamente. En primer lugar, descubrimos que la información de veracidad se concentra en tokens específicos, y aprovechar esta propiedad mejora significativamente el rendimiento en la detección de errores. Sin embargo, demostramos que tales detectores de errores no generalizan entre conjuntos de datos, lo que implica que --contrario a afirmaciones anteriores-- la codificación de veracidad no es universal, sino más bien multifacética. A continuación, mostramos que las representaciones internas también pueden ser utilizadas para predecir los tipos de errores que es probable que cometa el modelo, facilitando el desarrollo de estrategias de mitigación personalizadas. Por último, revelamos una discrepancia entre la codificación interna de los LLMs y su comportamiento externo: pueden codificar la respuesta correcta, pero generar consistentemente una incorrecta. En conjunto, estos conocimientos profundizan nuestra comprensión de los errores de los LLMs desde la perspectiva interna del modelo, lo que puede orientar futuras investigaciones sobre la mejora del análisis y la mitigación de errores.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.