¿Pueden las explicaciones textuales generadas por modelos de lenguaje mejorar el rendimiento en clasificación? Un estudio empírico

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

August 13, 2025

Autores: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

cs.AI

Resumen

En el campo en rápida evolución del Procesamiento del Lenguaje Natural Explicable (PLNE), las explicaciones textuales, es decir, las justificaciones similares a las humanas, son fundamentales para explicar las predicciones de los modelos y enriquecer los conjuntos de datos con etiquetas interpretables. Los enfoques tradicionales dependen de la anotación humana, que es costosa, laboriosa y obstaculiza la escalabilidad. En este trabajo, presentamos un marco automatizado que aprovecha múltiples modelos de lenguaje de última generación (LLMs, por sus siglas en inglés) para generar explicaciones textuales de alta calidad. Evaluamos rigurosamente la calidad de estas explicaciones generadas por LLMs utilizando un conjunto exhaustivo de métricas de Generación del Lenguaje Natural (GLN). Además, investigamos el impacto descendente de estas explicaciones en el rendimiento de modelos de lenguaje preentrenados (PLMs) y LLMs en tareas de inferencia del lenguaje natural en dos conjuntos de datos de referencia diversos. Nuestros experimentos demuestran que las explicaciones automatizadas exhiben una efectividad altamente competitiva en comparación con las explicaciones anotadas por humanos para mejorar el rendimiento de los modelos. Nuestros hallazgos subrayan una vía prometedora para la generación escalable y automatizada de explicaciones textuales basadas en LLMs, con el fin de ampliar los conjuntos de datos de PLN y mejorar el rendimiento de los modelos.

English

In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.