知識グラフを用いた言語モデルの学習：幻覚現象とその検出可能性に関する考察

要旨

言語モデル（LM）の多くの能力は、トレーニング予算の増加に伴い向上しますが、スケールが幻覚（hallucination）に与える影響はまだ完全には理解されていません。幻覚にはさまざまな形態があり、普遍的に受け入れられている定義は存在しません。そこで私たちは、トレーニングデータセットに正解がそのまま含まれている場合の幻覚に焦点を当てて研究を行いました。トレーニングデータの内容を完全に制御するため、知識グラフ（KG）ベースのデータセットを構築し、それを用いて徐々に大規模なLMをトレーニングしました。その結果、固定されたデータセットにおいて、より大規模で長期間トレーニングされたLMは幻覚を起こしにくいことがわかりました。ただし、トレーニングデータの5%以下で幻覚を起こすためには、Hoffmann et al. (2022) が最適と報告したモデルよりも1桁大きいモデル、つまり1桁多い計算資源が必要です。このコストの高さを踏まえ、幻覚検出器がスケールにどのように依存するかを調査しました。固定されたLMの出力に対して検出器のサイズが性能を向上させることは確認されましたが、LMのスケールとその幻覚の検出可能性の間には逆相関関係があることがわかりました。

English

While many capabilities of language models (LMs) improve with increased training budget, the influence of scale on hallucinations is not yet fully understood. Hallucinations come in many forms, and there is no universally accepted definition. We thus focus on studying only those hallucinations where a correct answer appears verbatim in the training set. To fully control the training data content, we construct a knowledge graph (KG)-based dataset, and use it to train a set of increasingly large LMs. We find that for a fixed dataset, larger and longer-trained LMs hallucinate less. However, hallucinating on leq5% of the training data requires an order of magnitude larger model, and thus an order of magnitude more compute, than Hoffmann et al. (2022) reported was optimal. Given this costliness, we study how hallucination detectors depend on scale. While we see detector size improves performance on fixed LM's outputs, we find an inverse relationship between the scale of the LM and the detectability of its hallucinations.

知識グラフを用いた言語モデルの学習：幻覚現象とその検出可能性に関する考察

Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability

要旨

Summary

Support

Support