Создание эталонных наборов данных для оценки фактической точности языковых моделей
Generating Benchmarks for Factuality Evaluation of Language Models
July 13, 2023
Авторы: Dor Muhlgay, Ori Ram, Inbal Magar, Yoav Levine, Nir Ratner, Yonatan Belinkov, Omri Abend, Kevin Leyton-Brown, Amnon Shashua, Yoav Shoham
cs.AI
Аннотация
Перед развертыванием языковой модели (LM) в определенной предметной области важно оценить ее склонность к генерации фактически неверной информации в этой области. Существующие методы оценки генерации фактов сосредоточены на фактах, извлеченных из самой LM, и, таким образом, не контролируют набор оцениваемых фактов, что может приводить к недостаточному учету редких и маловероятных фактов. Мы предлагаем FACTOR: Factual Assessment via Corpus TransfORmation (Фактическая оценка через трансформацию корпуса) — масштабируемый подход для оценки фактической точности LM. FACTOR автоматически преобразует интересующий фактический корпус в бенчмарк, оценивающий склонность LM генерировать истинные факты из корпуса в сравнении с похожими, но неверными утверждениями. Мы используем наш фреймворк для создания двух бенчмарков: Wiki-FACTOR и News-FACTOR. Мы показываем, что: (i) оценки нашего бенчмарка увеличиваются с ростом размера модели и улучшаются, когда LM дополняется поиском; (ii) оценка бенчмарка коррелирует с перплексией, но эти две метрики не всегда согласуются в ранжировании моделей; и (iii) когда перплексия и оценка бенчмарка расходятся, последняя лучше отражает фактическую точность в открытой генерации, что подтверждается оценками человеческих аннотаторов. Мы делаем наши данные и код общедоступными по адресу https://github.com/AI21Labs/factor.
English
Before deploying a language model (LM) within a given domain, it is important
to measure its tendency to generate factually incorrect information in that
domain. Existing factual generation evaluation methods focus on facts sampled
from the LM itself, and thus do not control the set of evaluated facts and
might under-represent rare and unlikely facts. We propose FACTOR: Factual
Assessment via Corpus TransfORmation, a scalable approach for evaluating LM
factuality. FACTOR automatically transforms a factual corpus of interest into a
benchmark evaluating an LM's propensity to generate true facts from the corpus
vs. similar but incorrect statements. We use our framework to create two
benchmarks: Wiki-FACTOR and News-FACTOR. We show that: (i) our benchmark scores
increase with model size and improve when the LM is augmented with retrieval;
(ii) benchmark score correlates with perplexity, but the two metrics do not
always agree on model ranking; and (iii) when perplexity and benchmark score
disagree, the latter better reflects factuality in open-ended generation, as
measured by human annotators. We make our data and code publicly available in
https://github.com/AI21Labs/factor.