Семантические зонды энтропии: надежное и дешевое обнаружение галлюцинаций в языковых моделях с ограниченной памятью

Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs

June 22, 2024

Авторы: Jannik Kossen, Jiatong Han, Muhammed Razzak, Lisa Schut, Shreshth Malik, Yarin Gal

cs.AI

Аннотация

Мы предлагаем семантические зонды энтропии (SEPs) - дешевый и надежный метод для количественной оценки неопределенности в больших языковых моделях (LLMs). Галлюцинации, которые звучат правдоподобно, но фактически неверны и произвольны, представляют собой основное препятствие для практического применения LLMs. Недавние исследования Фарквара и др. (2024) предлагают семантическую энтропию (SE), которая может обнаруживать галлюцинации, оценивая неопределенность в пространстве семантического значения для набора модельных генераций. Однако увеличение в 5-10 раз стоимости вычислений, связанное с вычислением SE, затрудняет практическое применение. Для решения этой проблемы мы предлагаем SEPs, которые напрямую приближают SE из скрытых состояний одной генерации. SEPs просты в обучении и не требуют выборки нескольких модельных генераций во время тестирования, снижая издержки на количественную оценку семантической неопределенности практически до нуля. Мы показываем, что SEPs сохраняют высокую производительность в обнаружении галлюцинаций и лучше обобщаются на данные вне распределения, чем предыдущие методы зондирования, которые напрямую предсказывают точность модели. Наши результаты по моделям и задачам подтверждают, что скрытые состояния модели улавливают SE, и наши исследования абляции дают дополнительные идеи о позициях токенов и слоях модели, для которых это имеет место.

English

We propose semantic entropy probes (SEPs), a cheap and reliable method for uncertainty quantification in Large Language Models (LLMs). Hallucinations, which are plausible-sounding but factually incorrect and arbitrary model generations, present a major challenge to the practical adoption of LLMs. Recent work by Farquhar et al. (2024) proposes semantic entropy (SE), which can detect hallucinations by estimating uncertainty in the space semantic meaning for a set of model generations. However, the 5-to-10-fold increase in computation cost associated with SE computation hinders practical adoption. To address this, we propose SEPs, which directly approximate SE from the hidden states of a single generation. SEPs are simple to train and do not require sampling multiple model generations at test time, reducing the overhead of semantic uncertainty quantification to almost zero. We show that SEPs retain high performance for hallucination detection and generalize better to out-of-distribution data than previous probing methods that directly predict model accuracy. Our results across models and tasks suggest that model hidden states capture SE, and our ablation studies give further insights into the token positions and model layers for which this is the case.