Эмпирическое исследование взаимного усиления эффекта и его применение в задачах классификации текста с небольшим количеством обучающих примеров с использованием подсказки.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Авторы: Chengguang Gan, Tatsunori Mori

cs.AI

Аннотация

Эффект взаимного усиления (MRE) исследует синергетическое взаимодействие между классификациями на уровне слов и уровне текста в задачах текстовой классификации. Он предполагает, что производительность обоих уровней классификации может быть взаимно улучшена. Однако данный механизм не был должным образом продемонстрирован или объяснен в предыдущих исследованиях. Для заполнения этого пробела мы используем эмпирический эксперимент для наблюдения и подтверждения теории MRE. Наши эксперименты на 21 наборе данных MRE показали наличие MRE в модели и его влияние. Конкретно, мы провели сравнительные эксперименты с использованием донастройки. Результаты исследований из сравнительных экспериментов подтверждают существование MRE. Более того, мы расширили применение MRE на обучение по подсказкам, используя информацию на уровне слов в качестве вербализатора для укрепления предсказания модели меток классификации на уровне текста. В нашем заключительном эксперименте значение F1-меры значительно превзошло базовый уровень в 18 из 21 наборов данных MRE Mix, дополнительно подтверждая идею о том, что информация на уровне слов улучшает понимание языковой модели текста в целом.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.