Van Loops naar Oeps: Terugvalgedrag van Taalmodellen bij Onzekerheid

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Auteurs: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Samenvatting

Grote taalmodellen (LLMs) vertonen vaak ongewenst gedrag, zoals hallucinaties en sequentiële herhalingen. Wij stellen voor om dit gedrag te beschouwen als terugvalgedrag dat modellen vertonen bij onzekerheid, en onderzoeken het verband daartussen. We categoriseren terugvalgedrag — sequentiële herhalingen, gedegenereerde tekst en hallucinaties — en analyseren dit uitgebreid in modellen uit dezelfde familie die verschillen in het aantal vooraf getrainde tokens, het aantal parameters, of de toevoeging van training voor instructievolging. Onze experimenten onthullen een duidelijke en consistente volgorde van terugvalgedrag, over al deze aspecten: hoe geavanceerder een LLM is (d.w.z. getraind op meer tokens, meer parameters heeft, of instructiegetraind is), verschuift het terugvalgedrag van sequentiële herhalingen, naar gedegenereerde tekst, en vervolgens naar hallucinaties. Bovendien wordt dezelfde volgorde waargenomen gedurende een enkele generatie, zelfs voor de best presterende modellen; naarmate de onzekerheid toeneemt, verschuiven modellen van het genereren van hallucinaties naar het produceren van gedegenereerde tekst en vervolgens sequentiële herhalingen. Tot slot tonen we aan dat hoewel veelgebruikte decodeertechnieken, zoals willekeurige steekproeven, sommige ongewenste gedragingen zoals sequentiële herhalingen kunnen verminderen, ze moeilijker te detecteren hallucinaties juist vergroten.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.