Treinamento de Modelos de Linguagem no Grafo de Conhecimento: Insights sobre Alucinações e Sua Detectabilidade

Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability

August 14, 2024

Autores: Jiri Hron, Laura Culp, Gamaleldin Elsayed, Rosanne Liu, Ben Adlam, Maxwell Bileschi, Bernd Bohnet, JD Co-Reyes, Noah Fiedel, C. Daniel Freeman, Izzeddin Gur, Kathleen Kenealy, Jaehoon Lee, Peter J. Liu, Gaurav Mishra, Igor Mordatch, Azade Nova, Roman Novak, Aaron Parisi, Jeffrey Pennington, Alex Rizkowsky, Isabelle Simpson, Hanie Sedghi, Jascha Sohl-dickstein, Kevin Swersky, Sharad Vikram, Tris Warkentin, Lechao Xiao, Kelvin Xu, Jasper Snoek, Simon Kornblith

cs.AI

Resumo

Embora muitas capacidades dos modelos de linguagem (LMs) melhorem com um orçamento de treinamento maior, a influência da escala nas alucinações ainda não é totalmente compreendida. As alucinações se manifestam de várias formas e não há uma definição universalmente aceita. Portanto, focamos em estudar apenas aquelas alucinações em que uma resposta correta aparece textualmente no conjunto de treinamento. Para controlar totalmente o conteúdo dos dados de treinamento, construímos um conjunto de dados baseado em um grafo de conhecimento (KG) e o utilizamos para treinar um conjunto de LMs cada vez maiores. Descobrimos que, para um conjunto de dados fixo, LMs maiores e treinados por mais tempo alucinam menos. No entanto, alucinar em menos de 5% dos dados de treinamento requer um modelo significativamente maior e, portanto, uma quantidade de computação significativamente maior do que a relatada por Hoffmann et al. (2022) como ótima. Dada essa onerosidade, estudamos como os detectores de alucinação dependem da escala. Embora vejamos que o tamanho do detector melhora o desempenho nas saídas dos LMs fixos, encontramos uma relação inversa entre a escala do LM e a detectabilidade de suas alucinações.

English

While many capabilities of language models (LMs) improve with increased training budget, the influence of scale on hallucinations is not yet fully understood. Hallucinations come in many forms, and there is no universally accepted definition. We thus focus on studying only those hallucinations where a correct answer appears verbatim in the training set. To fully control the training data content, we construct a knowledge graph (KG)-based dataset, and use it to train a set of increasingly large LMs. We find that for a fixed dataset, larger and longer-trained LMs hallucinate less. However, hallucinating on leq5% of the training data requires an order of magnitude larger model, and thus an order of magnitude more compute, than Hoffmann et al. (2022) reported was optimal. Given this costliness, we study how hallucination detectors depend on scale. While we see detector size improves performance on fixed LM's outputs, we find an inverse relationship between the scale of the LM and the detectability of its hallucinations.