Von Schleifen zu Fehlern: Ausweichverhalten von Sprachmodellen bei Unsicherheit

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Autoren: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen oft unerwünschte Verhaltensweisen wie Halluzinationen und Sequenzwiederholungen. Wir schlagen vor, diese Verhaltensweisen als Ausweichreaktionen zu betrachten, die Modelle bei Unsicherheit zeigen, und untersuchen den Zusammenhang zwischen ihnen. Wir kategorisieren Ausweichverhaltensweisen - Sequenzwiederholungen, degenerierten Text und Halluzinationen - und analysieren sie eingehend in Modellen derselben Familie, die sich in der Anzahl der vorab trainierten Tokens, der Parameteranzahl oder der Einbeziehung von Anweisungsfolgetraining unterscheiden. Unsere Experimente zeigen eine klare und konsistente Reihenfolge von Ausweichverhaltensweisen entlang all dieser Achsen: Je fortgeschrittener ein LLM ist (d. h. auf mehr Tokens trainiert wurde, mehr Parameter hat oder an Anweisungsabfolgetuning teilnimmt), desto mehr verschiebt sich sein Ausweichverhalten von Sequenzwiederholungen über degenerierten Text zu Halluzinationen. Darüber hinaus wird dieselbe Reihenfolge auch innerhalb einer einzigen Generation beobachtet, selbst bei den leistungsstärksten Modellen; mit zunehmender Unsicherheit wechseln Modelle von der Erzeugung von Halluzinationen zu degeneriertem Text und dann zu Sequenzwiederholungen. Schließlich zeigen wir, dass gängige Dekodierungstechniken wie zufällige Abtastung zwar einige unerwünschte Verhaltensweisen wie Sequenzwiederholungen lindern können, aber schwerer zu erkennende Halluzinationen verstärken.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.