Kunnen tekstuele verklaringen gegenereerd door LLM's de classificatieprestaties van modellen verbeteren? Een empirische studie.

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

August 13, 2025

Auteurs: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

cs.AI

Samenvatting

In het snel evoluerende veld van Uitlegbare Natuurlijke Taalverwerking (NLP) zijn tekstuele uitleg, oftewel mensachtige redeneringen, cruciaal voor het verklaren van modelvoorspellingen en het verrijken van datasets met interpreteerbare labels. Traditionele benaderingen vertrouwen op menselijke annotatie, wat kostbaar, arbeidsintensief is en de schaalbaarheid belemmert. In dit werk presenteren we een geautomatiseerd raamwerk dat gebruikmaakt van meerdere state-of-the-art grote taalmodelen (LLM's) om hoogwaardige tekstuele uitleg te genereren. We beoordelen de kwaliteit van deze door LLM gegenereerde uitleg rigoureus met behulp van een uitgebreide set Natural Language Generation (NLG)-metrieken. Bovendien onderzoeken we de downstream-impact van deze uitleg op de prestaties van vooraf getrainde taalmodelen (PLM's) en LLM's bij natuurlijke taal inferentietaken op twee diverse benchmarkdatasets. Onze experimenten tonen aan dat geautomatiseerde uitleg zeer competitieve effectiviteit vertoont in vergelijking met door mensen geannoteerde uitleg bij het verbeteren van modelprestaties. Onze bevindingen onderstrepen een veelbelovende weg voor schaalbare, geautomatiseerde tekstuele uitleggeneratie op basis van LLM's voor het uitbreiden van NLP-datasets en het verbeteren van modelprestaties.

English

In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.