Le spiegazioni testuali generate da LLM possono migliorare le prestazioni di classificazione dei modelli? Uno studio empirico

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

August 13, 2025

Autori: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

cs.AI

Abstract

Nel campo in rapida evoluzione del Natural Language Processing (NLP) spiegabile, le spiegazioni testuali, ovvero razionalità simili a quelle umane, sono fondamentali per spiegare le previsioni dei modelli e arricchire i dataset con etichette interpretabili. Gli approcci tradizionali si basano sull'annotazione umana, che è costosa, laboriosa e ostacola la scalabilità. In questo lavoro, presentiamo un framework automatizzato che sfrutta molteplici modelli linguistici di grandi dimensioni (LLM) all'avanguardia per generare spiegazioni testuali di alta qualità. Valutiamo rigorosamente la qualità di queste spiegazioni generate da LLM utilizzando una suite completa di metriche di Natural Language Generation (NLG). Inoltre, indaghiamo l'impatto a valle di queste spiegazioni sulle prestazioni di modelli linguistici pre-addestrati (PLM) e LLM in compiti di inferenza del linguaggio naturale su due dataset di benchmark diversi. I nostri esperimenti dimostrano che le spiegazioni automatizzate mostrano un'efficacia altamente competitiva rispetto alle spiegazioni annotate manualmente nel migliorare le prestazioni dei modelli. I nostri risultati evidenziano una promettente direzione per la generazione scalabile e automatizzata di spiegazioni testuali basate su LLM, finalizzata all'estensione dei dataset NLP e al miglioramento delle prestazioni dei modelli.

English

In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.