언어 모델의 환각이 어떻게 눈덩이처럼 불어날 수 있는가

How Language Model Hallucinations Can Snowball

May 22, 2023

저자: Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith

cs.AI

초록

실제 애플리케이션에서 언어 모델을 사용할 때의 주요 위험 중 하나는 잘못된 진술을 할 가능성, 즉 '환각(hallucination)' 현상입니다. 환각은 종종 언어 모델의 지식 부족으로 인한 것으로 여겨지지만, 우리는 일부 경우에 언어 모델이 이전에 생성한 환각을 정당화하기 위해 스스로도 잘못이라고 인식할 수 있는 거짓 주장을 출력한다는 가설을 세웠습니다. 우리는 ChatGPT와 GPT-4가 종종 잘못된 답변을 제시하고, 그 설명에 하나 이상의 잘못된 주장을 포함하는 세 가지 질문-답변 데이터셋을 구성했습니다. 중요한 점은, ChatGPT와 GPT-4가 각각 자신의 실수 중 67%와 87%를 인식할 수 있다는 것을 발견했다는 것입니다. 우리는 이러한 현상을 '환각 눈덩이 효과(hallucination snowballing)'라고 부르며, 이는 언어 모델이 초기의 실수에 과도하게 집착함으로써 원래는 하지 않았을 추가적인 실수를 유발하는 현상을 의미합니다.

English

A major risk of using language models in practical applications is their tendency to hallucinate incorrect statements. Hallucinations are often attributed to knowledge gaps in LMs, but we hypothesize that in some cases, when justifying previously generated hallucinations, LMs output false claims that they can separately recognize as incorrect. We construct three question-answering datasets where ChatGPT and GPT-4 often state an incorrect answer and offer an explanation with at least one incorrect claim. Crucially, we find that ChatGPT and GPT-4 can identify 67% and 87% of their own mistakes, respectively. We refer to this phenomenon as hallucination snowballing: an LM over-commits to early mistakes, leading to more mistakes that it otherwise would not make.