Da Cicli a Oops: Comportamenti di Ripiego dei Modelli Linguistici in Condizioni di Incertezza

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Autori: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Abstract

I grandi modelli linguistici (LLM) spesso manifestano comportamenti indesiderati, come allucinazioni e ripetizioni di sequenze. Proponiamo di considerare questi comportamenti come ripiegamenti che i modelli mostrano in condizioni di incertezza e di indagare la connessione tra di essi. Classifichiamo i comportamenti di ripiegamento -- ripetizioni di sequenze, testo degenerato e allucinazioni -- e li analizziamo in modo approfondito in modelli della stessa famiglia che differiscono per il numero di token di pre-addestramento, il conteggio dei parametri o l'inclusione di un addestramento al seguimento di istruzioni. I nostri esperimenti rivelano un ordine chiaro e consistente dei comportamenti di ripiegamento, lungo tutti questi assi: più un LLM è avanzato (cioè, addestrato su più token, ha più parametri o è ottimizzato per seguire istruzioni), il suo comportamento di ripiegamento passa dalle ripetizioni di sequenze, al testo degenerato, e poi alle allucinazioni. Inoltre, lo stesso ordine si osserva durante una singola generazione, anche per i modelli con le migliori prestazioni; man mano che l'incertezza aumenta, i modelli passano dal generare allucinazioni al produrre testo degenerato e poi ripetizioni di sequenze. Infine, dimostriamo che mentre tecniche di decodifica comuni, come il campionamento casuale, potrebbero alleviare alcuni comportamenti indesiderati come le ripetizioni di sequenze, aumentano le allucinazioni più difficili da rilevare.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.