Een overzicht van de evaluatie van grote taalmodelle

Samenvatting

Grote taalmodellen (LLM's) winnen steeds meer populariteit in zowel de academische wereld als de industrie, dankzij hun ongekende prestaties in diverse toepassingen. Omdat LLM's een cruciale rol blijven spelen in zowel onderzoek als dagelijks gebruik, wordt hun evaluatie steeds belangrijker, niet alleen op taakniveau, maar ook op maatschappelijk niveau voor een beter begrip van hun potentiële risico's. In de afgelopen jaren zijn er aanzienlijke inspanningen geleverd om LLM's vanuit verschillende perspectieven te onderzoeken. Dit artikel biedt een uitgebreid overzicht van deze evaluatiemethoden voor LLM's, met focus op drie belangrijke dimensies: wat te evalueren, waar te evalueren en hoe te evalueren. Ten eerste geven we een overzicht vanuit het perspectief van evaluatietaken, waaronder algemene natuurlijke taalverwerkingstaken, redeneren, medisch gebruik, ethiek, onderwijs, natuur- en sociale wetenschappen, agenttoepassingen en andere gebieden. Ten tweede beantwoorden we de vragen 'waar' en 'hoe' door in te gaan op de evaluatiemethoden en benchmarks, die cruciale componenten zijn bij het beoordelen van de prestaties van LLM's. Vervolgens vatten we de succes- en faalgevallen van LLM's in verschillende taken samen. Tot slot werpen we licht op enkele toekomstige uitdagingen die voor ons liggen bij de evaluatie van LLM's. Ons doel is om waardevolle inzichten te bieden aan onderzoekers op het gebied van LLM-evaluatie, waardoor de ontwikkeling van vaardigere LLM's wordt ondersteund. Ons belangrijkste punt is dat evaluatie als een essentiële discipline moet worden beschouwd om de ontwikkeling van LLM's beter te ondersteunen. We houden de gerelateerde open-source materialen consistent bij op: https://github.com/MLGroupJLU/LLM-eval-survey.

English

Large language models (LLMs) are gaining increasing popularity in both academia and industry, owing to their unprecedented performance in various applications. As LLMs continue to play a vital role in both research and daily use, their evaluation becomes increasingly critical, not only at the task level, but also at the society level for better understanding of their potential risks. Over the past years, significant efforts have been made to examine LLMs from various perspectives. This paper presents a comprehensive review of these evaluation methods for LLMs, focusing on three key dimensions: what to evaluate, where to evaluate, and how to evaluate. Firstly, we provide an overview from the perspective of evaluation tasks, encompassing general natural language processing tasks, reasoning, medical usage, ethics, educations, natural and social sciences, agent applications, and other areas. Secondly, we answer the `where' and `how' questions by diving into the evaluation methods and benchmarks, which serve as crucial components in assessing performance of LLMs. Then, we summarize the success and failure cases of LLMs in different tasks. Finally, we shed light on several future challenges that lie ahead in LLMs evaluation. Our aim is to offer invaluable insights to researchers in the realm of LLMs evaluation, thereby aiding the development of more proficient LLMs. Our key point is that evaluation should be treated as an essential discipline to better assist the development of LLMs. We consistently maintain the related open-source materials at: https://github.com/MLGroupJLU/LLM-eval-survey.

Een overzicht van de evaluatie van grote taalmodelle

A Survey on Evaluation of Large Language Models

Samenvatting

Support