ANAH-v2 : Mise à l'échelle de l'annotation des hallucinations analytiques pour les grands modèles de langage

ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models

July 5, 2024

Auteurs: Yuzhe Gu, Ziwei Ji, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen

cs.AI

Résumé

Les grands modèles de langage (LLMs) présentent des hallucinations dans les tâches de réponse à des questions longues et complexes, couvrant divers domaines et applications. Les ensembles de données actuels pour la détection et l'atténuation des hallucinations sont limités en termes de domaines et de taille, peinant à s'étendre en raison des coûts de main-d'œuvre prohibitifs et de la fiabilité insuffisante des annotateurs existants. Pour faciliter la supervision évolutive des hallucinations des LLMs, cet article introduit un cadre d'auto-apprentissage itératif qui permet de développer simultanément et progressivement l'ensemble de données d'annotation des hallucinations et d'améliorer la précision de l'annotateur d'hallucinations. Basé sur l'algorithme d'Espérance-Maximisation (EM), à chaque itération, le cadre applique d'abord un pipeline d'annotation des hallucinations pour annoter un ensemble de données mis à l'échelle, puis entraîne un annotateur d'hallucinations plus précis sur cet ensemble de données. Ce nouvel annotateur est ensuite intégré dans le pipeline d'annotation utilisé pour l'itération suivante. Les résultats expérimentaux approfondis montrent que l'annotateur d'hallucinations final, avec seulement 7 milliards de paramètres, surpasse les performances de GPT-4 et établit de nouveaux records en matière de détection d'hallucinations sur HaluEval et HalluQA par inférence zero-shot. Un tel annotateur peut non seulement évaluer les niveaux d'hallucination de divers LLMs sur un ensemble de données à grande échelle, mais aussi contribuer à atténuer les hallucinations dans les générations de LLMs, avec une augmentation de la métrique d'Inférence en Langage Naturel (NLI) de 25% à 37% sur HaluEval.

English

Large language models (LLMs) exhibit hallucinations in long-form question-answering tasks across various domains and wide applications. Current hallucination detection and mitigation datasets are limited in domains and sizes, which struggle to scale due to prohibitive labor costs and insufficient reliability of existing hallucination annotators. To facilitate the scalable oversight of LLM hallucinations, this paper introduces an iterative self-training framework that simultaneously and progressively scales up the hallucination annotation dataset and improves the accuracy of the hallucination annotator. Based on the Expectation Maximization (EM) algorithm, in each iteration, the framework first applies a hallucination annotation pipeline to annotate a scaled dataset and then trains a more accurate hallucination annotator on the dataset. This new hallucination annotator is adopted in the hallucination annotation pipeline used for the next iteration. Extensive experimental results demonstrate that the finally obtained hallucination annotator with only 7B parameters surpasses the performance of GPT-4 and obtains new state-of-the-art hallucination detection results on HaluEval and HalluQA by zero-shot inference. Such an annotator can not only evaluate the hallucination levels of various LLMs on the large-scale dataset but also help to mitigate the hallucination of LLMs generations, with the Natural Language Inference (NLI) metric increasing from 25% to 37% on HaluEval.