Studio empirico dell'effetto di rinforzo reciproco e applicazione nei compiti di classificazione del testo a pochi esempi tramite prompt.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Autori: Chengguang Gan, Tatsunori Mori

cs.AI

Abstract

L'Effetto di Rinforzo reciproco (MRE) indaga la relazione sinergica tra le classificazioni a livello di parole e a livello di testo nei compiti di classificazione del testo. Si ipotizza che le prestazioni di entrambi i livelli di classificazione possano essere reciprocamente potenziate. Tuttavia, questo meccanismo non è stato adeguatamente dimostrato o spiegato nella ricerca precedente. Per affrontare questa lacuna, utilizziamo esperimenti empirici per osservare e confermare la teoria MRE. I nostri esperimenti su 21 set di dati MRE misti hanno rivelato la presenza di MRE nel modello e il suo impatto. In particolare, abbiamo condotto esperimenti di confronto utilizzando il fine-tuning. I risultati dei confronti degli esperimenti confermano l'esistenza di MRE. Inoltre, abbiamo esteso l'applicazione di MRE all'apprendimento guidato, utilizzando le informazioni a livello di parole come verbalizzatore per rafforzare la previsione del modello delle etichette di classificazione a livello di testo. Nel nostro esperimento finale, l'F1-score ha superato significativamente il valore di base in 18 dei 21 set di dati MRE misti, confermando ulteriormente l'idea che le informazioni a livello di parole migliorano la comprensione del modello linguistico del testo nel suo insieme.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.