Étude empirique de l'effet de renforcement mutuel et son application dans les tâches de classification de texte à quelques exemples via un prompt.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Auteurs: Chengguang Gan, Tatsunori Mori

cs.AI

Résumé

L'Effet de Renforcement Mutuel (ERM) étudie la relation synergique entre les classifications au niveau des mots et au niveau du texte dans les tâches de classification de texte. Il postule que les performances des deux niveaux de classification peuvent être mutuellement améliorées. Cependant, ce mécanisme n'a pas été adéquatement démontré ou expliqué dans les recherches antérieures. Pour combler cette lacune, nous menons des expériences empiriques pour observer et étayer la théorie de l'ERM. Nos expériences sur 21 ensembles de données mixtes ERM ont révélé la présence de l'ERM dans le modèle et son impact. Plus précisément, nous avons mené des expériences de comparaison en utilisant un ajustement fin. Les résultats des constatations des expériences de comparaison corroborent l'existence de l'ERM. De plus, nous avons étendu l'application de l'ERM à l'apprentissage incitatif, en utilisant les informations au niveau des mots comme verbaliseur pour renforcer la prédiction du modèle des étiquettes de classification au niveau du texte. Dans notre dernière expérience, le score F1 a surpassé de manière significative la référence dans 18 des 21 ensembles de données mixtes ERM, validant davantage l'idée que les informations au niveau des mots améliorent la compréhension du modèle linguistique du texte dans son ensemble.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.