INSTRUCTEVAL: Verso una Valutazione Olistica dei Modelli Linguistici di Grande Dimensione Ottimizzati per le Istruzioni

INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models

June 7, 2023

Autori: Yew Ken Chia, Pengfei Hong, Lidong Bing, Soujanya Poria

cs.AI

Abstract

I modelli linguistici di grandi dimensioni sintonizzati su istruzioni hanno rivoluzionato l'elaborazione del linguaggio naturale e hanno dimostrato un grande potenziale in applicazioni come gli agenti conversazionali. Questi modelli, come GPT-4, non solo padroneggiano il linguaggio ma sono anche in grado di risolvere compiti complessi in aree come la matematica, la programmazione, la medicina e il diritto. Nonostante le loro impressionanti capacità, manca ancora una comprensione completa del loro pieno potenziale, principalmente a causa della natura "black-box" di molti modelli e dell'assenza di studi di valutazione olistici. Per affrontare queste sfide, presentiamo INSTRUCTEVAL, una suite di valutazione più completa progettata specificamente per i modelli linguistici di grandi dimensioni sintonizzati su istruzioni. A differenza dei lavori precedenti, la nostra valutazione prevede un'analisi rigorosa dei modelli basata sulla risoluzione di problemi, la capacità di scrittura e l'allineamento ai valori umani. Adottiamo un approccio olistico per analizzare vari fattori che influenzano le prestazioni del modello, tra cui la base di pre-addestramento, i dati di sintonizzazione su istruzioni e i metodi di addestramento. I nostri risultati rivelano che la qualità dei dati di istruzione è il fattore più cruciale per scalare le prestazioni del modello. Mentre i modelli open-source dimostrano impressionanti capacità di scrittura, c'è un ampio margine di miglioramento nella risoluzione dei problemi e nell'allineamento. Siamo incoraggiati dal rapido sviluppo dei modelli da parte della comunità open-source, ma sottolineiamo anche la necessità di una valutazione rigorosa per supportare le affermazioni fatte su questi modelli. Attraverso INSTRUCTEVAL, miriamo a favorire una comprensione più profonda dei modelli sintonizzati su istruzioni e a promuovere progressi nelle loro capacità. INSTRUCTEVAL è disponibile pubblicamente all'indirizzo https://github.com/declare-lab/instruct-eval.

English

Instruction-tuned large language models have revolutionized natural language processing and have shown great potential in applications such as conversational agents. These models, such as GPT-4, can not only master language but also solve complex tasks in areas like mathematics, coding, medicine, and law. Despite their impressive capabilities, there is still a lack of comprehensive understanding regarding their full potential, primarily due to the black-box nature of many models and the absence of holistic evaluation studies. To address these challenges, we present INSTRUCTEVAL, a more comprehensive evaluation suite designed specifically for instruction-tuned large language models. Unlike previous works, our evaluation involves a rigorous assessment of models based on problem-solving, writing ability, and alignment to human values. We take a holistic approach to analyze various factors affecting model performance, including the pretraining foundation, instruction-tuning data, and training methods. Our findings reveal that the quality of instruction data is the most crucial factor in scaling model performance. While open-source models demonstrate impressive writing abilities, there is substantial room for improvement in problem-solving and alignment. We are encouraged by the rapid development of models by the open-source community, but we also highlight the need for rigorous evaluation to support claims made about these models. Through INSTRUCTEVAL, we aim to foster a deeper understanding of instruction-tuned models and advancements in their capabilities. INSTRUCTEVAL is publicly available at https://github.com/declare-lab/instruct-eval.