Estudo Empírico do Efeito de Reforço Mútuo e sua Aplicação em Tarefas de Classificação de Texto com Poucas Amostras via Prompt.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Autores: Chengguang Gan, Tatsunori Mori

cs.AI

Resumo

O Efeito de Reforço Mútuo (ERM) investiga a relação sinérgica entre classificações ao nível da palavra e ao nível do texto em tarefas de classificação de texto. Ele postula que o desempenho de ambos os níveis de classificação pode ser mutuamente aprimorado. No entanto, esse mecanismo não foi adequadamente demonstrado ou explicado em pesquisas anteriores. Para abordar essa lacuna, empregamos experimentos empíricos para observar e fundamentar a teoria do ERM. Nossos experimentos em 21 conjuntos de dados mistos de ERM revelaram a presença do ERM no modelo e seu impacto. Especificamente, realizamos experimentos de comparação usando ajuste fino. Os resultados das descobertas dos experimentos de comparação corroboram a existência do ERM. Além disso, estendemos a aplicação do ERM para aprendizado de prompt, utilizando informações ao nível da palavra como um verbalizador para reforçar a previsão do modelo de rótulos de classificação ao nível do texto. Em nosso experimento final, o escore F1 superou significativamente a linha de base em 18 dos 21 conjuntos de dados mistos de ERM, validando ainda mais a ideia de que as informações ao nível da palavra aprimoram a compreensão do modelo de linguagem do texto como um todo.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.