Explicações Textuais Geradas por LLMs Podem Melhorar o Desempenho de Classificação de Modelos? Um Estudo Empírico

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

August 13, 2025

Autores: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

cs.AI

Resumo

No campo em rápida evolução do Processamento de Linguagem Natural (PLN) Explicável, explicações textuais, ou seja, racionalizações semelhantes às humanas, são fundamentais para explicar as previsões dos modelos e enriquecer conjuntos de dados com rótulos interpretáveis. As abordagens tradicionais dependem de anotações humanas, que são custosas, trabalhosas e prejudicam a escalabilidade. Neste trabalho, apresentamos uma estrutura automatizada que aproveita vários modelos de linguagem de grande escala (LLMs) de última geração para gerar explicações textuais de alta qualidade. Avaliamos rigorosamente a qualidade dessas explicações geradas por LLMs usando um conjunto abrangente de métricas de Geração de Linguagem Natural (NLG). Além disso, investigamos o impacto dessas explicações no desempenho de modelos de linguagem pré-treinados (PLMs) e LLMs em tarefas de inferência em linguagem natural em dois conjuntos de dados de referência diversos. Nossos experimentos demonstram que as explicações automatizadas exibem uma eficácia altamente competitiva em comparação com as explicações anotadas por humanos na melhoria do desempenho dos modelos. Nossas descobertas destacam uma via promissora para a geração escalável e automatizada de explicações textuais baseadas em LLMs, visando estender conjuntos de dados de PLN e aprimorar o desempenho dos modelos.

English

In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.