Una Rassegna sulla Valutazione dei Modelli Linguistici di Grande Dimensione

Abstract

I modelli linguistici di grandi dimensioni (LLM) stanno guadagnando una popolarità crescente sia in ambito accademico che industriale, grazie alle loro prestazioni senza precedenti in varie applicazioni. Poiché gli LLM continuano a svolgere un ruolo vitale sia nella ricerca che nell'uso quotidiano, la loro valutazione diventa sempre più critica, non solo a livello di compito, ma anche a livello sociale per una migliore comprensione dei loro potenziali rischi. Negli ultimi anni, sono stati compiuti sforzi significativi per esaminare gli LLM da diverse prospettive. Questo articolo presenta una revisione completa di questi metodi di valutazione per gli LLM, concentrandosi su tre dimensioni chiave: cosa valutare, dove valutare e come valutare. In primo luogo, forniamo una panoramica dal punto di vista dei compiti di valutazione, comprendendo compiti generali di elaborazione del linguaggio naturale, ragionamento, uso medico, etica, educazione, scienze naturali e sociali, applicazioni di agenti e altre aree. In secondo luogo, rispondiamo alle domande "dove" e "come" approfondendo i metodi di valutazione e i benchmark, che costituiscono componenti cruciali nella valutazione delle prestazioni degli LLM. Successivamente, riassumiamo i casi di successo e fallimento degli LLM in diversi compiti. Infine, mettiamo in luce diverse sfide future che si prospettano nella valutazione degli LLM. Il nostro obiettivo è offrire intuizioni preziose ai ricercatori nel campo della valutazione degli LLM, contribuendo così allo sviluppo di LLM più competenti. Il nostro punto chiave è che la valutazione dovrebbe essere trattata come una disciplina essenziale per meglio supportare lo sviluppo degli LLM. Manteniamo costantemente i materiali open-source correlati all'indirizzo: https://github.com/MLGroupJLU/LLM-eval-survey.

English

Large language models (LLMs) are gaining increasing popularity in both academia and industry, owing to their unprecedented performance in various applications. As LLMs continue to play a vital role in both research and daily use, their evaluation becomes increasingly critical, not only at the task level, but also at the society level for better understanding of their potential risks. Over the past years, significant efforts have been made to examine LLMs from various perspectives. This paper presents a comprehensive review of these evaluation methods for LLMs, focusing on three key dimensions: what to evaluate, where to evaluate, and how to evaluate. Firstly, we provide an overview from the perspective of evaluation tasks, encompassing general natural language processing tasks, reasoning, medical usage, ethics, educations, natural and social sciences, agent applications, and other areas. Secondly, we answer the `where' and `how' questions by diving into the evaluation methods and benchmarks, which serve as crucial components in assessing performance of LLMs. Then, we summarize the success and failure cases of LLMs in different tasks. Finally, we shed light on several future challenges that lie ahead in LLMs evaluation. Our aim is to offer invaluable insights to researchers in the realm of LLMs evaluation, thereby aiding the development of more proficient LLMs. Our key point is that evaluation should be treated as an essential discipline to better assist the development of LLMs. We consistently maintain the related open-source materials at: https://github.com/MLGroupJLU/LLM-eval-survey.

Una Rassegna sulla Valutazione dei Modelli Linguistici di Grande Dimensione

A Survey on Evaluation of Large Language Models

Abstract

Support