De Loops para Oops: Comportamentos de Recuo de Modelos de Linguagem Sob Incerteza

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Autores: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) frequentemente apresentam comportamentos indesejáveis, como alucinações e repetições de sequências. Propomos considerar esses comportamentos como fallbacks que os modelos exibem sob incerteza, e investigar a conexão entre eles. Categorizamos os comportamentos de fallback - repetições de sequências, texto degenerado e alucinações - e os analisamos extensivamente em modelos da mesma família que diferem pela quantidade de tokens de pré-treinamento, contagem de parâmetros, ou pela inclusão de treinamento de seguir instruções. Nossos experimentos revelam uma ordenação clara e consistente dos comportamentos de fallback, em todos esses aspectos: quanto mais avançado um LLM é (ou seja, treinado em mais tokens, tem mais parâmetros, ou é ajustado para instruções), seu comportamento de fallback muda de repetições de sequências, para texto degenerado, e então para alucinações. Além disso, a mesma ordenação é observada ao longo de uma única geração, mesmo para os modelos de melhor desempenho; à medida que a incerteza aumenta, os modelos mudam de gerar alucinações para produzir texto degenerado e depois repetições de sequências. Por fim, demonstramos que enquanto técnicas comuns de decodificação, como amostragem aleatória, podem aliviar alguns comportamentos indesejados como repetições de sequências, elas aumentam alucinações mais difíceis de detectar.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.