De los bucles a los errores: Comportamientos de recuperación de los modelos de lenguaje ante la incertidumbre

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Autores: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) a menudo exhiben comportamientos no deseados, como alucinaciones y repeticiones de secuencias. Proponemos considerar estos comportamientos como fallbacks que los modelos muestran bajo incertidumbre, e investigar la conexión entre ellos. Categorizamos los comportamientos de fallback: repeticiones de secuencias, texto degenerado y alucinaciones, y los analizamos exhaustivamente en modelos de la misma familia que difieren en la cantidad de tokens de preentrenamiento, el recuento de parámetros o la inclusión de entrenamiento para seguir instrucciones. Nuestros experimentos revelan un orden claro y consistente de los comportamientos de fallback, a lo largo de todos estos ejes: cuanto más avanzado es un LLM (es decir, entrenado con más tokens, tiene más parámetros o está ajustado a instrucciones), su comportamiento de fallback cambia de repeticiones de secuencias, a texto degenerado y luego a alucinaciones. Además, se observa el mismo orden durante una sola generación, incluso para los modelos de mejor rendimiento; a medida que aumenta la incertidumbre, los modelos pasan de generar alucinaciones a producir texto degenerado y luego repeticiones de secuencias. Por último, demostramos que si bien técnicas comunes de decodificación, como el muestreo aleatorio, pueden aliviar algunos comportamientos no deseados como las repeticiones de secuencias, aumentan alucinaciones más difíciles de detectar.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.