Desintoxicação de Alucinações: Desativação Sensível de Neurônios (SeND) para Treinamento de Modelos de Linguagem de Grande Escala

Hallucination Detox: Sensitive Neuron Dropout (SeND) for Large Language Model Training

October 20, 2024

Autores: Shahrad Mohammadzadeh, Juan David Guerra, Marco Bonizzato, Reihaneh Rabbany, Golnoosh Farnadi

cs.AI

Resumo

À medida que os grandes modelos de linguagem (LLMs) são cada vez mais implementados em diversas indústrias, crescem as preocupações sobre sua confiabilidade, especialmente devido às alucinações - saídas que são factualmente imprecisas ou irrelevantes para a entrada do usuário. Nossa pesquisa investiga a relação entre o processo de treinamento e o surgimento de alucinações para abordar uma lacuna importante na pesquisa existente, que se concentra principalmente em estratégias de detecção e mitigação pós-hoc. Utilizando modelos da suíte Pythia (70M-12B parâmetros) e várias métricas de detecção de alucinações, analisamos as tendências de alucinação ao longo do treinamento e exploramos a dinâmica interna dos LLMs. Apresentamos o SEnsitive Neuron Dropout (SeND), um novo protocolo de treinamento projetado para mitigar alucinações, reduzindo a variância durante o treinamento. O SeND alcança isso ao descartar deterministicamente neurônios com variabilidade significativa em um conjunto de dados, denominados Neurônios Sensíveis. Além disso, desenvolvemos uma métrica de detecção de alucinações não supervisionada, o Efficient EigenScore (EES), que aproxima o EigenScore tradicional em dobro da velocidade. Essa métrica eficiente é integrada em nosso protocolo, permitindo que o SeND seja tanto computacionalmente escalável quanto eficaz na redução de alucinações. Nossa avaliação empírica demonstra que nossa abordagem melhora a confiabilidade do LLM no momento do teste em até 40% em comparação com o treinamento normal, fornecendo também um método eficiente para melhorar a precisão factual ao adaptar LLMs para domínios como Wikipedia e conjuntos de dados médicos.

English

As large language models (LLMs) become increasingly deployed across various industries, concerns regarding their reliability, particularly due to hallucinations-outputs that are factually inaccurate or irrelevant to user input-have grown. Our research investigates the relationship between the training process and the emergence of hallucinations to address a key gap in existing research that focuses primarily on post hoc detection and mitigation strategies. Using models from the Pythia suite (70M-12B parameters) and several hallucination detection metrics, we analyze hallucination trends throughout training and explore LLM internal dynamics. We introduce SEnsitive Neuron Dropout (SeND), a novel training protocol designed to mitigate hallucinations by reducing variance during training. SeND achieves this by deterministically dropping neurons with significant variability on a dataset, referred to as Sensitive Neurons. In addition, we develop an unsupervised hallucination detection metric, Efficient EigenScore (EES), which approximates the traditional EigenScore in 2x speed. This efficient metric is integrated into our protocol, allowing SeND to be both computationally scalable and effective at reducing hallucinations. Our empirical evaluation demonstrates that our approach improves LLM reliability at test time by up to 40% compared to normal training while also providing an efficient method to improve factual accuracy when adapting LLMs to domains such as Wikipedia and Medical datasets.