Могут ли текстовые объяснения, сгенерированные языковыми моделями, улучшить производительность классификации моделей? Эмпирическое исследование
Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study
August 13, 2025
Авторы: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci
cs.AI
Аннотация
В быстро развивающейся области объяснимой обработки естественного языка (NLP) текстовые объяснения, то есть человеко-подобные обоснования, играют ключевую роль в интерпретации предсказаний моделей и обогащении наборов данных интерпретируемыми метками. Традиционные подходы полагаются на ручную аннотацию, что является дорогостоящим, трудоемким и препятствует масштабируемости. В данной работе мы представляем автоматизированную систему, которая использует несколько современных крупных языковых моделей (LLM) для генерации высококачественных текстовых объяснений. Мы тщательно оцениваем качество этих объяснений, сгенерированных LLM, с использованием комплексного набора метрик генерации естественного языка (NLG). Кроме того, мы исследуем влияние этих объяснений на производительность предварительно обученных языковых моделей (PLM) и LLM в задачах логического вывода на естественном языке на двух различных эталонных наборах данных. Наши эксперименты демонстрируют, что автоматизированные объяснения демонстрируют высокую конкурентоспособность по сравнению с ручными аннотациями в улучшении производительности моделей. Наши результаты подчеркивают перспективное направление для масштабируемой, автоматизированной генерации текстовых объяснений на основе LLM для расширения наборов данных NLP и повышения производительности моделей.
English
In the rapidly evolving field of Explainable Natural Language Processing
(NLP), textual explanations, i.e., human-like rationales, are pivotal for
explaining model predictions and enriching datasets with interpretable labels.
Traditional approaches rely on human annotation, which is costly,
labor-intensive, and impedes scalability. In this work, we present an automated
framework that leverages multiple state-of-the-art large language models (LLMs)
to generate high-quality textual explanations. We rigorously assess the quality
of these LLM-generated explanations using a comprehensive suite of Natural
Language Generation (NLG) metrics. Furthermore, we investigate the downstream
impact of these explanations on the performance of pre-trained language models
(PLMs) and LLMs across natural language inference tasks on two diverse
benchmark datasets. Our experiments demonstrate that automated explanations
exhibit highly competitive effectiveness compared to human-annotated
explanations in improving model performance. Our findings underscore a
promising avenue for scalable, automated LLM-based textual explanation
generation for extending NLP datasets and enhancing model performance.