Estudio empírico del efecto de refuerzo mutuo y su aplicación en tareas de clasificación de texto de pocas muestras a través de indicaciones.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Autores: Chengguang Gan, Tatsunori Mori

cs.AI

Resumen

El Efecto de Refuerzo Mutuo (ERM) investiga la relación sinérgica entre las clasificaciones a nivel de palabra y a nivel de texto en tareas de clasificación de texto. Postula que el rendimiento de ambos niveles de clasificación puede ser mutuamente mejorado. Sin embargo, este mecanismo no ha sido adecuadamente demostrado o explicado en investigaciones previas. Para abordar esta brecha, empleamos experimentos empíricos para observar y respaldar la teoría del ERM. Nuestros experimentos en 21 conjuntos de datos mixtos de ERM revelaron la presencia del ERM en el modelo y su impacto. Específicamente, realizamos experimentos de comparación utilizando fine-tune. Los resultados de los hallazgos de los experimentos de comparación corroboran la existencia del ERM. Además, extendimos la aplicación del ERM al aprendizaje de estímulos, utilizando información a nivel de palabra como verbalizador para reforzar la predicción del modelo de las etiquetas de clasificación a nivel de texto. En nuestro experimento final, el puntaje F1 superó significativamente la línea base en 18 de los 21 conjuntos de datos mixtos de ERM, validando aún más la noción de que la información a nivel de palabra mejora la comprensión del modelo de lenguaje del texto en su totalidad.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.