言語モデルの事実性評価のためのベンチマーク生成

要旨

特定のドメイン内で言語モデル（LM）を展開する前に、そのドメインにおいて事実に反する情報を生成する傾向を測定することが重要です。既存の事実生成評価手法は、LM自体からサンプリングされた事実に焦点を当てているため、評価される事実のセットを制御できず、稀で起こりにくい事実を過小評価する可能性があります。本論文では、FACTOR: Factual Assessment via Corpus TransfORmationを提案します。これは、LMの事実性を評価するためのスケーラブルなアプローチです。FACTORは、関心のある事実コーパスを自動的に変換し、LMがそのコーパスから真の事実を生成する傾向と、類似しているが誤った文を生成する傾向を評価するベンチマークを作成します。本フレームワークを使用して、Wiki-FACTORとNews-FACTORという2つのベンチマークを作成しました。以下の結果を示します：(i) ベンチマークスコアはモデルサイズとともに増加し、LMが検索機能を追加すると改善される、(ii) ベンチマークスコアはパープレキシティと相関するが、2つの指標がモデルの順位付けにおいて常に一致するわけではない、(iii) パープレキシティとベンチマークスコアが一致しない場合、後者は人間のアノテーターによる評価において、オープンエンド生成における事実性をよりよく反映する。データとコードはhttps://github.com/AI21Labs/factorで公開しています。

English

Before deploying a language model (LM) within a given domain, it is important to measure its tendency to generate factually incorrect information in that domain. Existing factual generation evaluation methods focus on facts sampled from the LM itself, and thus do not control the set of evaluated facts and might under-represent rare and unlikely facts. We propose FACTOR: Factual Assessment via Corpus TransfORmation, a scalable approach for evaluating LM factuality. FACTOR automatically transforms a factual corpus of interest into a benchmark evaluating an LM's propensity to generate true facts from the corpus vs. similar but incorrect statements. We use our framework to create two benchmarks: Wiki-FACTOR and News-FACTOR. We show that: (i) our benchmark scores increase with model size and improve when the LM is augmented with retrieval; (ii) benchmark score correlates with perplexity, but the two metrics do not always agree on model ranking; and (iii) when perplexity and benchmark score disagree, the latter better reflects factuality in open-ended generation, as measured by human annotators. We make our data and code publicly available in https://github.com/AI21Labs/factor.

言語モデルの事実性評価のためのベンチマーク生成

Generating Benchmarks for Factuality Evaluation of Language Models

要旨

Support