OPT-R: Esplorare il Ruolo delle Spiegazioni nel Fine-Tuning e nel Prompting per le Capacità di Ragionamento dei Modelli Linguistici di Grandi Dimensioni

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Autori: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Abstract

In questo articolo, conduciamo un'indagine approfondita sulle capacità di ragionamento dei Large Language Models (LLM), concentrandoci specificamente sui modelli Open Pretrained Transformers (OPT) come rappresentanti di tali modelli. Il nostro studio prevede il fine-tuning di tre diverse dimensioni di OPT su un corpus di ragionamento accuratamente curato, ottenendo due serie di modelli fine-tuned: OPT-R, fine-tuned senza spiegazioni, e OPT-RE, fine-tuned con spiegazioni. Valutiamo quindi tutti i modelli su 57 task out-of-domain tratti dal benchmark SUPER-NATURALINSTRUCTIONS, coprendo 26 abilità di ragionamento distinte, utilizzando tre tecniche di prompting. Attraverso una griglia completa di 27 configurazioni e 6.156 valutazioni di test, esploriamo le dimensioni del fine-tuning, del prompting e della scala per comprendere il ruolo delle spiegazioni su diverse abilità di ragionamento. I nostri risultati rivelano che la presenza di spiegazioni negli esempi fewshot non ha un impatto significativo sulle prestazioni del modello quando quest'ultimo è fine-tuned, mentre influisce positivamente sulla controparte non fine-tuned. Inoltre, osserviamo un lieve ma costante aumento dell'accuratezza di classificazione man mano che incorporiamo spiegazioni durante il prompting e il fine-tuning, rispettivamente. Infine, offriamo approfondimenti su quali abilità traggono il massimo vantaggio dall'incorporazione di spiegazioni durante il fine-tuning e il prompting, come il ragionamento Numerico (+20,4%) e Analogico (+13,9%), nonché su quelle che mostrano effetti trascurabili o negativi.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.