Uma Análise sobre a Avaliação de Modelos de Linguagem de Grande Escala

Resumo

Os grandes modelos de linguagem (LLMs, do inglês Large Language Models) estão ganhando popularidade crescente tanto na academia quanto na indústria, devido ao seu desempenho sem precedentes em diversas aplicações. À medida que os LLMs continuam a desempenhar um papel vital tanto na pesquisa quanto no uso diário, sua avaliação torna-se cada vez mais crítica, não apenas no nível de tarefas, mas também no nível da sociedade, para uma melhor compreensão de seus riscos potenciais. Nos últimos anos, foram feitos esforços significativos para examinar os LLMs sob diversas perspectivas. Este artigo apresenta uma revisão abrangente desses métodos de avaliação para LLMs, focando em três dimensões principais: o que avaliar, onde avaliar e como avaliar. Primeiramente, fornecemos uma visão geral a partir da perspectiva das tarefas de avaliação, abrangendo tarefas gerais de processamento de linguagem natural, raciocínio, uso médico, ética, educação, ciências naturais e sociais, aplicações de agentes e outras áreas. Em segundo lugar, respondemos às perguntas "onde" e "como" ao mergulhar nos métodos e benchmarks de avaliação, que servem como componentes cruciais na avaliação do desempenho dos LLMs. Em seguida, resumimos os casos de sucesso e fracasso dos LLMs em diferentes tarefas. Por fim, destacamos vários desafios futuros que estão à frente na avaliação de LLMs. Nosso objetivo é oferecer insights valiosos para pesquisadores no campo da avaliação de LLMs, ajudando assim no desenvolvimento de LLMs mais proficientes. Nosso ponto principal é que a avaliação deve ser tratada como uma disciplina essencial para melhor auxiliar o desenvolvimento de LLMs. Mantemos consistentemente os materiais de código aberto relacionados em: https://github.com/MLGroupJLU/LLM-eval-survey.

English

Large language models (LLMs) are gaining increasing popularity in both academia and industry, owing to their unprecedented performance in various applications. As LLMs continue to play a vital role in both research and daily use, their evaluation becomes increasingly critical, not only at the task level, but also at the society level for better understanding of their potential risks. Over the past years, significant efforts have been made to examine LLMs from various perspectives. This paper presents a comprehensive review of these evaluation methods for LLMs, focusing on three key dimensions: what to evaluate, where to evaluate, and how to evaluate. Firstly, we provide an overview from the perspective of evaluation tasks, encompassing general natural language processing tasks, reasoning, medical usage, ethics, educations, natural and social sciences, agent applications, and other areas. Secondly, we answer the `where' and `how' questions by diving into the evaluation methods and benchmarks, which serve as crucial components in assessing performance of LLMs. Then, we summarize the success and failure cases of LLMs in different tasks. Finally, we shed light on several future challenges that lie ahead in LLMs evaluation. Our aim is to offer invaluable insights to researchers in the realm of LLMs evaluation, thereby aiding the development of more proficient LLMs. Our key point is that evaluation should be treated as an essential discipline to better assist the development of LLMs. We consistently maintain the related open-source materials at: https://github.com/MLGroupJLU/LLM-eval-survey.

Uma Análise sobre a Avaliação de Modelos de Linguagem de Grande Escala

A Survey on Evaluation of Large Language Models

Resumo

Support