Evaluación de Seguimiento de Instrucciones mediante Manipulación del Verbalizador

Instruction-following Evaluation through Verbalizer Manipulation

July 20, 2023

Autores: Shiyang Li, Jun Yan, Hai Wang, Zheng Tang, Xiang Ren, Vijay Srinivasan, Hongxia Jin

cs.AI

Resumen

Si bien los modelos ajustados por instrucciones han demostrado un éxito notable en diversas tareas de procesamiento del lenguaje natural, evaluar con precisión su capacidad para seguir instrucciones sigue siendo un desafío. Los puntos de referencia existentes se centran principalmente en instrucciones comunes que se alinean bien con lo que el modelo aprendió durante el entrenamiento. Sin embargo, la competencia en responder a estas instrucciones no implica necesariamente una fuerte capacidad en el seguimiento de instrucciones. En este artículo, proponemos un novedoso protocolo de evaluación de seguimiento de instrucciones llamado manipulación de verbalizadores. Este instruye al modelo a verbalizar la etiqueta de la tarea con palabras que se alinean en distintos grados con los sesgos previos del modelo, adoptando verbalizadores desde aquellos altamente alineados (por ejemplo, generar "positivo" para un sentimiento positivo) hasta aquellos mínimamente alineados (por ejemplo, generar "negativo" para un sentimiento positivo). La manipulación de verbalizadores puede integrarse sin problemas con cualquier punto de referencia de clasificación para examinar la dependencia del modelo en sus sesgos previos y su capacidad para anularlos y seguir con precisión las instrucciones. Realizamos una evaluación exhaustiva de cuatro familias principales de modelos en nueve conjuntos de datos, empleando doce conjuntos de verbalizadores para cada uno de ellos. Observamos que las capacidades de seguimiento de instrucciones de los modelos, entre diferentes familias y escalas, se distinguen significativamente por su rendimiento en verbalizadores menos naturales. Incluso el modelo más potente, GPT-4, tiene dificultades para superar el azar en el verbalizador más desafiante, lo que enfatiza la necesidad de continuar avanzando para mejorar sus capacidades de seguimiento de instrucciones.

English

While instruction-tuned models have shown remarkable success in various natural language processing tasks, accurately evaluating their ability to follow instructions remains challenging. Existing benchmarks primarily focus on common instructions that align well with what the model learned during training. However, proficiency in responding to these instructions does not necessarily imply strong ability in instruction following. In this paper, we propose a novel instruction-following evaluation protocol called verbalizer manipulation. It instructs the model to verbalize the task label with words aligning with model priors to different extents, adopting verbalizers from highly aligned (e.g., outputting ``postive'' for positive sentiment), to minimally aligned (e.g., outputting ``negative'' for positive sentiment). Verbalizer manipulation can be seamlessly integrated with any classification benchmark to examine the model's reliance on priors and its ability to override them to accurately follow the instructions. We conduct a comprehensive evaluation of four major model families across nine datasets, employing twelve sets of verbalizers for each of them. We observe that the instruction-following abilities of models, across different families and scales, are significantly distinguished by their performance on less natural verbalizers. Even the strongest GPT-4 model struggles to perform better than random guessing on the most challenging verbalizer, emphasizing the need for continued advancements to improve their instruction-following abilities.