プロンプトを介した少数ショットテキスト分類タスクにおける相互強化効果の実証的研究と応用

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

著者: Chengguang Gan, Tatsunori Mori

cs.AI

要旨

相互強化効果（MRE）は、テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗効果を調査するものです。この効果は、両分類レベルの性能が相互に向上する可能性があるという仮説を立てています。しかしながら、このメカニズムは以前の研究で適切に実証されたり説明されたりしていませんでした。このギャップを埋めるために、私たちは経験的実験を用いてMRE理論を観察し裏付けることに取り組んでいます。21のMREミックスデータセットでの実験では、モデル内にMREの存在とその影響を明らかにしました。具体的には、ファインチューニングを用いた比較実験を実施しました。比較実験の結果から、MREの存在が裏付けられました。さらに、MREの適用範囲を拡大し、プロンプト学習に活用し、単語レベルの情報を口頭表現として用いて、モデルがテキストレベルの分類ラベルをより強化する実験を行いました。最終実験では、21のMREミックスデータセットのうち18でF1スコアがベースラインを大幅に上回り、単語レベルの情報が言語モデルがテキスト全体を理解するのを強化するという考えをさらに裏付けました。

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.