Обзор методов оценки больших языковых моделей

Аннотация

Крупные языковые модели (LLM) приобретают все большую популярность как в академической среде, так и в промышленности благодаря их беспрецедентной производительности в различных приложениях. Поскольку LLM продолжают играть важную роль как в исследованиях, так и в повседневном использовании, их оценка становится все более критически важной, не только на уровне задач, но и на уровне общества для лучшего понимания их потенциальных рисков. За последние годы были приложены значительные усилия для изучения LLM с различных точек зрения. В данной статье представлен всесторонний обзор этих методов оценки LLM, сфокусированный на трех ключевых аспектах: что оценивать, где оценивать и как оценивать. Во-первых, мы предоставляем обзор с точки зрения задач оценки, охватывающих общие задачи обработки естественного языка, рассуждения, медицинское применение, этику, образование, естественные и социальные науки, агентские приложения и другие области. Во-вторых, мы отвечаем на вопросы «где» и «как», углубляясь в методы оценки и бенчмарки, которые являются ключевыми компонентами в оценке производительности LLM. Затем мы суммируем успехи и неудачи LLM в различных задачах. Наконец, мы освещаем несколько будущих вызовов, которые ожидают оценку LLM. Наша цель — предложить ценные идеи исследователям в области оценки LLM, тем самым способствуя разработке более совершенных LLM. Наш ключевой тезис заключается в том, что оценка должна рассматриваться как важная дисциплина для лучшего содействия развитию LLM. Мы постоянно поддерживаем связанные открытые материалы по адресу: https://github.com/MLGroupJLU/LLM-eval-survey.

English

Large language models (LLMs) are gaining increasing popularity in both academia and industry, owing to their unprecedented performance in various applications. As LLMs continue to play a vital role in both research and daily use, their evaluation becomes increasingly critical, not only at the task level, but also at the society level for better understanding of their potential risks. Over the past years, significant efforts have been made to examine LLMs from various perspectives. This paper presents a comprehensive review of these evaluation methods for LLMs, focusing on three key dimensions: what to evaluate, where to evaluate, and how to evaluate. Firstly, we provide an overview from the perspective of evaluation tasks, encompassing general natural language processing tasks, reasoning, medical usage, ethics, educations, natural and social sciences, agent applications, and other areas. Secondly, we answer the `where' and `how' questions by diving into the evaluation methods and benchmarks, which serve as crucial components in assessing performance of LLMs. Then, we summarize the success and failure cases of LLMs in different tasks. Finally, we shed light on several future challenges that lie ahead in LLMs evaluation. Our aim is to offer invaluable insights to researchers in the realm of LLMs evaluation, thereby aiding the development of more proficient LLMs. Our key point is that evaluation should be treated as an essential discipline to better assist the development of LLMs. We consistently maintain the related open-source materials at: https://github.com/MLGroupJLU/LLM-eval-survey.

Обзор методов оценки больших языковых моделей

A Survey on Evaluation of Large Language Models

Аннотация

Support