ANAH-v2: 대규모 언어 모델의 분석적 환각 주석 확장

ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models

July 5, 2024

저자: Yuzhe Gu, Ziwei Ji, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen

cs.AI

초록

대규모 언어 모델(LLM)은 다양한 도메인과 광범위한 응용 분야에서 장문 질의응답 작업 시 환각 현상을 보입니다. 현재의 환각 탐지 및 완화 데이터셋은 도메인과 규모 측면에서 제한적이며, 과도한 노동 비용과 기존 환각 주석 도구의 신뢰성 부족으로 인해 확장에 어려움을 겪고 있습니다. LLM 환각 현상의 확장 가능한 감독을 용이하게 하기 위해, 본 논문은 환각 주석 데이터셋을 점진적으로 확장하고 환각 주석 도구의 정확도를 동시에 개선하는 반복적 자기 학습 프레임워크를 소개합니다. 기대값 최대화(EM) 알고리즘을 기반으로, 각 반복에서 이 프레임워크는 먼저 환각 주석 파이프라인을 적용하여 확장된 데이터셋에 주석을 달고, 그 다음 이 데이터셋을 사용해 더 정확한 환각 주석 도구를 학습합니다. 이 새로운 환각 주석 도구는 다음 반복에 사용될 환각 주석 파이프라인에 적용됩니다. 광범위한 실험 결과, 최종적으로 얻은 7B 파라미터 규모의 환각 주석 도구는 GPT-4의 성능을 능가하며, HaluEval과 HalluQA에서 제로샷 추론을 통해 새로운 최첨단 환각 탐지 결과를 달성했습니다. 이러한 주석 도구는 대규모 데이터셋에서 다양한 LLM의 환각 수준을 평가할 수 있을 뿐만 아니라, LLM 생성물의 환각 현상을 완화하는 데도 도움을 줄 수 있으며, HaluEval에서 자연어 추론(NLI) 지표가 25%에서 37%로 증가했습니다.

English

Large language models (LLMs) exhibit hallucinations in long-form question-answering tasks across various domains and wide applications. Current hallucination detection and mitigation datasets are limited in domains and sizes, which struggle to scale due to prohibitive labor costs and insufficient reliability of existing hallucination annotators. To facilitate the scalable oversight of LLM hallucinations, this paper introduces an iterative self-training framework that simultaneously and progressively scales up the hallucination annotation dataset and improves the accuracy of the hallucination annotator. Based on the Expectation Maximization (EM) algorithm, in each iteration, the framework first applies a hallucination annotation pipeline to annotate a scaled dataset and then trains a more accurate hallucination annotator on the dataset. This new hallucination annotator is adopted in the hallucination annotation pipeline used for the next iteration. Extensive experimental results demonstrate that the finally obtained hallucination annotator with only 7B parameters surpasses the performance of GPT-4 and obtains new state-of-the-art hallucination detection results on HaluEval and HalluQA by zero-shot inference. Such an annotator can not only evaluate the hallucination levels of various LLMs on the large-scale dataset but also help to mitigate the hallucination of LLMs generations, with the Natural Language Inference (NLI) metric increasing from 25% to 37% on HaluEval.