Le Bon, Le Mauvais et L'Avaricieux : L'évaluation des LLM ne devrait pas ignorer la non-détermination

The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism

July 15, 2024

Auteurs: Yifan Song, Guoyin Wang, Sujian Li, Bill Yuchen Lin

cs.AI

Résumé

Les évaluations actuelles des grands modèles de langage (LLM) négligent souvent le non-déterminisme, se concentrant généralement sur une seule sortie par exemple. Cela limite notre compréhension de la variabilité des performances des LLM dans des applications réelles. Notre étude aborde cette problématique en explorant des questions clés concernant les différences de performances entre le décodage glouton et l'échantillonnage, en identifiant la cohérence des benchmarks par rapport au non-déterminisme, et en examinant les comportements uniques des modèles. À travers des expériences approfondies, nous observons que le décodage glouton surpasse généralement les méthodes d'échantillonnage pour la plupart des tâches évaluées. Nous constatons également une performance cohérente à travers différentes tailles de LLM et méthodes d'alignement, notant que l'alignement peut réduire la variance de l'échantillonnage. De plus, notre approche d'échantillonnage best-of-N démontre que des LLM plus petits peuvent égaler ou surpasser des modèles plus grands comme GPT-4-Turbo, mettant en lumière le potentiel inexploité des LLM de petite taille. Cette recherche montre l'importance de prendre en compte le non-déterminisme dans les évaluations des LLM et fournit des insights pour le développement et l'évaluation futurs des LLM.

English

Current evaluations of large language models (LLMs) often overlook non-determinism, typically focusing on a single output per example. This limits our understanding of LLM performance variability in real-world applications. Our study addresses this issue by exploring key questions about the performance differences between greedy decoding and sampling, identifying benchmarks' consistency regarding non-determinism, and examining unique model behaviors. Through extensive experiments, we observe that greedy decoding generally outperforms sampling methods for most evaluated tasks. We also observe consistent performance across different LLM sizes and alignment methods, noting that alignment can reduce sampling variance. Moreover, our best-of-N sampling approach demonstrates that smaller LLMs can match or surpass larger models such as GPT-4-Turbo, highlighting the untapped potential of smaller LLMs. This research shows the importance of considering non-determinism in LLM evaluations and provides insights for future LLM development and evaluation.