OPT-R: Explorando el Rol de las Explicaciones en el Ajuste Fino y el Prompting para las Habilidades de Razonamiento de los Modelos de Lenguaje de Gran Escala

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Autores: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Resumen

En este artículo, llevamos a cabo una investigación exhaustiva sobre las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs), centrándonos específicamente en los modelos Open Pretrained Transformers (OPT) como representantes de dichos modelos. Nuestro estudio implica el ajuste fino de tres tamaños diferentes de OPT en un corpus de razonamiento cuidadosamente seleccionado, lo que resulta en dos conjuntos de modelos ajustados: OPT-R, ajustado sin explicaciones, y OPT-RE, ajustado con explicaciones. Luego evaluamos todos los modelos en 57 tareas fuera de dominio extraídas del benchmark SUPER-NATURALINSTRUCTIONS, cubriendo 26 habilidades de razonamiento distintas, utilizando tres técnicas de prompting. A través de una cuadrícula exhaustiva de 27 configuraciones y 6,156 evaluaciones de prueba, investigamos las dimensiones de ajuste fino, prompting y escala para comprender el papel de las explicaciones en diferentes habilidades de razonamiento. Nuestros hallazgos revelan que tener explicaciones en los ejemplos fewshot no tiene un impacto significativo en el rendimiento del modelo cuando este está ajustado, mientras que afecta positivamente a la contraparte no ajustada. Además, observamos un ligero pero consistente aumento en la precisión de clasificación a medida que incorporamos explicaciones durante el prompting y el ajuste fino, respectivamente. Finalmente, ofrecemos insights sobre qué habilidades se benefician más de la incorporación de explicaciones durante el ajuste fino y el prompting, como el razonamiento Numérico (+20.4%) y Analógico (+13.9%), así como habilidades que muestran efectos insignificantes o negativos.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.