Empirische Studie des gegenseitigen Verstärkungseffekts und Anwendung in Few-shot Textklassifikationsaufgaben über Prompt

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Autoren: Chengguang Gan, Tatsunori Mori

cs.AI

Zusammenfassung

Der Mutual Reinforcement Effect (MRE) untersucht die synergetische Beziehung zwischen der Klassifizierung auf Wortebene und der Klassifizierung auf Textebene bei Textklassifizierungsaufgaben. Er postuliert, dass die Leistung beider Klassifizierungsebenen gegenseitig gesteigert werden kann. Allerdings wurde dieser Mechanismus in früheren Forschungsarbeiten nicht ausreichend nachgewiesen oder erklärt. Um diese Lücke zu schließen, verwenden wir empirische Experimente, um die MRE-Theorie zu beobachten und zu untermauern. Unsere Experimente mit 21 MRE-Mix-Datensätzen zeigten das Vorhandensein von MRE im Modell und dessen Auswirkungen. Insbesondere führten wir Vergleichsexperimente mit Feinabstimmung durch. Die Ergebnisse der Vergleichsexperimente bestätigen die Existenz von MRE. Darüber hinaus erweiterten wir die Anwendung von MRE auf das Prompt-Learning, wobei Informationen auf Wortebene als Verbalisierer genutzt werden, um die Vorhersage von Textklassifizierungsetiketten des Modells zu stärken. In unserem abschließenden Experiment übertraf der F1-Score signifikant die Basislinie in 18 von 21 MRE-Mix-Datensätzen, was die Idee untermauert, dass Informationen auf Wortebene das Verständnis des Sprachmodells für den Text als Ganzes verbessern.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.