LLMs Sabem Mais do que Mostram: Sobre a Representação Intrínseca das Alucinações de LLM

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

Autores: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) frequentemente produzem erros, incluindo imprecisões factuais, viéses e falhas de raciocínio, coletivamente referidos como "alucinações". Estudos recentes têm demonstrado que os estados internos dos LLMs codificam informações sobre a veracidade de suas saídas, e que essas informações podem ser utilizadas para detectar erros. Neste trabalho, mostramos que as representações internas dos LLMs codificam muito mais informações sobre a veracidade do que anteriormente reconhecido. Primeiramente, descobrimos que as informações sobre a veracidade estão concentradas em tokens específicos, e aproveitar essa propriedade melhora significativamente o desempenho na detecção de erros. No entanto, demonstramos que tais detectores de erros falham em generalizar entre conjuntos de dados, implicando que - ao contrário de alegações anteriores - a codificação da veracidade não é universal, mas sim multifacetada. Em seguida, mostramos que as representações internas também podem ser usadas para prever os tipos de erros que o modelo provavelmente cometerá, facilitando o desenvolvimento de estratégias de mitigação personalizadas. Por fim, revelamos uma discrepância entre a codificação interna dos LLMs e seu comportamento externo: eles podem codificar a resposta correta, mas consistentemente geram uma resposta incorreta. Em conjunto, essas percepções aprofundam nossa compreensão dos erros dos LLMs a partir da perspectiva interna do modelo, o que pode orientar pesquisas futuras sobre aprimoramento da análise e mitigação de erros.

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.