ANAH-v2: Dimensionamento da Anotação de Alucinação Analítica em Modelos de Linguagem Grandes

ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models

July 5, 2024

Autores: Yuzhe Gu, Ziwei Ji, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) apresentam alucinações em tarefas de perguntas e respostas de longo formato em diversos domínios e amplas aplicações. Conjuntos de dados atuais para detecção e mitigação de alucinações são limitados em domínios e tamanhos, o que dificulta a escalabilidade devido aos custos proibitivos de mão de obra e à confiabilidade insuficiente dos anotadores de alucinação existentes. Para facilitar a supervisão escalável de alucinações em LLMs, este artigo apresenta um framework iterativo de autoaprendizagem que escala simultaneamente o conjunto de dados de anotação de alucinação e melhora progressivamente a precisão do anotador de alucinação. Com base no algoritmo Expectation Maximization (EM), em cada iteração, o framework primeiro aplica um pipeline de anotação de alucinação para anotar um conjunto de dados escalado e depois treina um anotador de alucinação mais preciso com base nesse conjunto de dados. Esse novo anotador de alucinação é adotado no pipeline de anotação de alucinação usado na próxima iteração. Resultados experimentais extensivos demonstram que o anotador de alucinação final obtido, com apenas 7B de parâmetros, supera o desempenho do GPT-4 e alcança novos resultados de detecção de alucinação de última geração em HaluEval e HalluQA por inferência de zero-shot. Esse anotador não só pode avaliar os níveis de alucinação de vários LLMs em um conjunto de dados em grande escala, mas também pode ajudar a mitigar a alucinação das gerações de LLMs, com a métrica de Inferência de Linguagem Natural (NLI) aumentando de 25% para 37% em HaluEval.

English

Large language models (LLMs) exhibit hallucinations in long-form question-answering tasks across various domains and wide applications. Current hallucination detection and mitigation datasets are limited in domains and sizes, which struggle to scale due to prohibitive labor costs and insufficient reliability of existing hallucination annotators. To facilitate the scalable oversight of LLM hallucinations, this paper introduces an iterative self-training framework that simultaneously and progressively scales up the hallucination annotation dataset and improves the accuracy of the hallucination annotator. Based on the Expectation Maximization (EM) algorithm, in each iteration, the framework first applies a hallucination annotation pipeline to annotate a scaled dataset and then trains a more accurate hallucination annotator on the dataset. This new hallucination annotator is adopted in the hallucination annotation pipeline used for the next iteration. Extensive experimental results demonstrate that the finally obtained hallucination annotator with only 7B parameters surpasses the performance of GPT-4 and obtains new state-of-the-art hallucination detection results on HaluEval and HalluQA by zero-shot inference. Such an annotator can not only evaluate the hallucination levels of various LLMs on the large-scale dataset but also help to mitigate the hallucination of LLMs generations, with the Natural Language Inference (NLI) metric increasing from 25% to 37% on HaluEval.