ループからオープスへ：不確実性下における言語モデルのフォールバック動作

要旨

大規模言語モデル（LLM）は、しばしば幻覚やシーケンスの繰り返しといった望ましくない振る舞いを示す。我々は、これらの振る舞いを不確実性下でモデルが示すフォールバックとして捉え、それらの関連性を調査することを提案する。フォールバックの振る舞いを、シーケンスの繰り返し、退化したテキスト、幻覚の3つに分類し、事前学習トークン数、パラメータ数、指示追従訓練の有無が異なる同一ファミリのモデルにおいて広範に分析する。実験の結果、これらの全ての軸において、フォールバックの振る舞いに明確で一貫した順序が見られることが明らかになった。つまり、LLMがより進歩するほど（より多くのトークンで訓練される、より多くのパラメータを持つ、指示チューニングされている）、そのフォールバックの振る舞いはシーケンスの繰り返しから退化したテキストへ、そして幻覚へと移行する。さらに、この同じ順序は、最も性能の高いモデルにおいても、単一の生成プロセス全体を通じて観察される。不確実性が増すにつれて、モデルは幻覚を生成することから退化したテキストを生成し、そしてシーケンスの繰り返しへと移行する。最後に、ランダムサンプリングのような一般的なデコード技術が、シーケンスの繰り返しといった望ましくない振る舞いを軽減する一方で、検出が難しい幻覚を増加させることを示す。

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.

ループからオープスへ：不確実性下における言語モデルのフォールバック動作

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

要旨

Support