Une étude sur l'évaluation des grands modèles de langage

A Survey on Evaluation of Large Language Models

July 6, 2023

Auteurs: Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, Xing Xie

cs.AI

Résumé

Les grands modèles de langage (LLMs) gagnent en popularité aussi bien dans le milieu académique que dans l'industrie, en raison de leurs performances sans précédent dans diverses applications. Alors que les LLMs continuent de jouer un rôle crucial à la fois dans la recherche et dans l'usage quotidien, leur évaluation devient de plus en plus critique, non seulement au niveau des tâches, mais aussi au niveau sociétal pour mieux comprendre leurs risques potentiels. Au cours des dernières années, des efforts significatifs ont été déployés pour examiner les LLMs sous divers angles. Cet article présente une revue complète de ces méthodes d'évaluation pour les LLMs, en se concentrant sur trois dimensions clés : quoi évaluer, où évaluer et comment évaluer. Tout d'abord, nous fournissons un aperçu du point de vue des tâches d'évaluation, englobant les tâches générales de traitement du langage naturel, le raisonnement, l'usage médical, l'éthique, l'éducation, les sciences naturelles et sociales, les applications d'agents, et d'autres domaines. Ensuite, nous répondons aux questions du 'où' et du 'comment' en plongeant dans les méthodes d'évaluation et les benchmarks, qui constituent des éléments cruciaux pour évaluer les performances des LLMs. Puis, nous résumons les cas de succès et d'échec des LLMs dans différentes tâches. Enfin, nous mettons en lumière plusieurs défis futurs qui se posent dans l'évaluation des LLMs. Notre objectif est d'offrir des insights inestimables aux chercheurs dans le domaine de l'évaluation des LLMs, contribuant ainsi au développement de LLMs plus performants. Notre point clé est que l'évaluation devrait être traitée comme une discipline essentielle pour mieux accompagner le développement des LLMs. Nous maintenons constamment les ressources open-source associées à l'adresse suivante : https://github.com/MLGroupJLU/LLM-eval-survey.

English

Large language models (LLMs) are gaining increasing popularity in both academia and industry, owing to their unprecedented performance in various applications. As LLMs continue to play a vital role in both research and daily use, their evaluation becomes increasingly critical, not only at the task level, but also at the society level for better understanding of their potential risks. Over the past years, significant efforts have been made to examine LLMs from various perspectives. This paper presents a comprehensive review of these evaluation methods for LLMs, focusing on three key dimensions: what to evaluate, where to evaluate, and how to evaluate. Firstly, we provide an overview from the perspective of evaluation tasks, encompassing general natural language processing tasks, reasoning, medical usage, ethics, educations, natural and social sciences, agent applications, and other areas. Secondly, we answer the `where' and `how' questions by diving into the evaluation methods and benchmarks, which serve as crucial components in assessing performance of LLMs. Then, we summarize the success and failure cases of LLMs in different tasks. Finally, we shed light on several future challenges that lie ahead in LLMs evaluation. Our aim is to offer invaluable insights to researchers in the realm of LLMs evaluation, thereby aiding the development of more proficient LLMs. Our key point is that evaluation should be treated as an essential discipline to better assist the development of LLMs. We consistently maintain the related open-source materials at: https://github.com/MLGroupJLU/LLM-eval-survey.