INSTRUCTEVAL: Naar een holistische evaluatie van instructie-afgestemde grote taalmodellen

INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models

June 7, 2023

Auteurs: Yew Ken Chia, Pengfei Hong, Lidong Bing, Soujanya Poria

cs.AI

Samenvatting

Instruction-tuned grote taalmodellen hebben een revolutie teweeggebracht in natuurlijke taalverwerking en hebben groot potentieel getoond in toepassingen zoals conversatie-agents. Deze modellen, zoals GPT-4, kunnen niet alleen taal beheersen, maar ook complexe taken oplossen op gebieden zoals wiskunde, programmeren, geneeskunde en recht. Ondanks hun indrukwekkende mogelijkheden is er nog steeds een gebrek aan een uitgebreid begrip van hun volledige potentieel, voornamelijk vanwege de black-box aard van veel modellen en het ontbreken van holistische evaluatiestudies. Om deze uitdagingen aan te pakken, presenteren we INSTRUCTEVAL, een uitgebreidere evaluatiesuite die specifiek is ontworpen voor instruction-tuned grote taalmodellen. In tegenstelling tot eerdere werken omvat onze evaluatie een rigoureuze beoordeling van modellen op basis van probleemoplossend vermogen, schrijfvaardigheid en afstemming op menselijke waarden. We nemen een holistische benadering om verschillende factoren te analyseren die de modelprestaties beïnvloeden, waaronder de pretrainingsbasis, de instruction-tuning gegevens en de trainingsmethoden. Onze bevindingen onthullen dat de kwaliteit van de instructiegegevens de meest cruciale factor is bij het schalen van modelprestaties. Hoewel open-source modellen indrukwekkende schrijfvaardigheden demonstreren, is er aanzienlijke ruimte voor verbetering in probleemoplossing en afstemming. We worden aangemoedigd door de snelle ontwikkeling van modellen door de open-source gemeenschap, maar we benadrukken ook de noodzaak van rigoureuze evaluatie om claims over deze modellen te ondersteunen. Met INSTRUCTEVAL streven we ernaar een dieper begrip van instruction-tuned modellen en vooruitgang in hun mogelijkheden te bevorderen. INSTRUCTEVAL is publiekelijk beschikbaar op https://github.com/declare-lab/instruct-eval.

English

Instruction-tuned large language models have revolutionized natural language processing and have shown great potential in applications such as conversational agents. These models, such as GPT-4, can not only master language but also solve complex tasks in areas like mathematics, coding, medicine, and law. Despite their impressive capabilities, there is still a lack of comprehensive understanding regarding their full potential, primarily due to the black-box nature of many models and the absence of holistic evaluation studies. To address these challenges, we present INSTRUCTEVAL, a more comprehensive evaluation suite designed specifically for instruction-tuned large language models. Unlike previous works, our evaluation involves a rigorous assessment of models based on problem-solving, writing ability, and alignment to human values. We take a holistic approach to analyze various factors affecting model performance, including the pretraining foundation, instruction-tuning data, and training methods. Our findings reveal that the quality of instruction data is the most crucial factor in scaling model performance. While open-source models demonstrate impressive writing abilities, there is substantial room for improvement in problem-solving and alignment. We are encouraged by the rapid development of models by the open-source community, but we also highlight the need for rigorous evaluation to support claims made about these models. Through INSTRUCTEVAL, we aim to foster a deeper understanding of instruction-tuned models and advancements in their capabilities. INSTRUCTEVAL is publicly available at https://github.com/declare-lab/instruct-eval.