Lo Bueno, lo Malo y lo Codicioso: La Evaluación de LLMs no Debería Ignorar el No Determinismo

The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism

July 15, 2024

Autores: Yifan Song, Guoyin Wang, Sujian Li, Bill Yuchen Lin

cs.AI

Resumen

Las evaluaciones actuales de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) a menudo pasan por alto el no determinismo, centrándose típicamente en una única salida por ejemplo. Esto limita nuestra comprensión de la variabilidad del rendimiento de los LLM en aplicaciones del mundo real. Nuestro estudio aborda este problema explorando preguntas clave sobre las diferencias de rendimiento entre la decodificación codiciosa y el muestreo, identificando la consistencia de los puntos de referencia con respecto al no determinismo y examinando comportamientos únicos del modelo. A través de experimentos extensos, observamos que la decodificación codiciosa generalmente supera a los métodos de muestreo para la mayoría de las tareas evaluadas. También observamos un rendimiento consistente en diferentes tamaños de LLM y métodos de alineación, notando que la alineación puede reducir la varianza del muestreo. Además, nuestro enfoque de muestreo de mejor de N muestra que los LLM más pequeños pueden igualar o superar a modelos más grandes como el GPT-4-Turbo, resaltando el potencial no explorado de los LLM más pequeños. Esta investigación muestra la importancia de considerar el no determinismo en las evaluaciones de LLM y proporciona ideas para el desarrollo y evaluación futura de LLM.

English

Current evaluations of large language models (LLMs) often overlook non-determinism, typically focusing on a single output per example. This limits our understanding of LLM performance variability in real-world applications. Our study addresses this issue by exploring key questions about the performance differences between greedy decoding and sampling, identifying benchmarks' consistency regarding non-determinism, and examining unique model behaviors. Through extensive experiments, we observe that greedy decoding generally outperforms sampling methods for most evaluated tasks. We also observe consistent performance across different LLM sizes and alignment methods, noting that alignment can reduce sampling variance. Moreover, our best-of-N sampling approach demonstrates that smaller LLMs can match or surpass larger models such as GPT-4-Turbo, highlighting the untapped potential of smaller LLMs. This research shows the importance of considering non-determinism in LLM evaluations and provides insights for future LLM development and evaluation.