ChatPaper.aiChatPaper

Können von LLM generierte textuelle Erklärungen die Modellklassifikationsleistung verbessern? Eine empirische Studie

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

August 13, 2025
papers.authors: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci
cs.AI

papers.abstract

Im sich rasant entwickelnden Bereich der erklärbaren Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) sind textbasierte Erklärungen, d. h. menschenähnliche Begründungen, entscheidend, um Modellvorhersagen zu erklären und Datensätze mit interpretierbaren Labels anzureichern. Traditionelle Ansätze stützen sich auf menschliche Annotationen, die kostspielig, arbeitsintensiv sind und die Skalierbarkeit behindern. In dieser Arbeit präsentieren wir ein automatisiertes Framework, das mehrere state-of-the-art Large Language Models (LLMs) nutzt, um hochwertige textbasierte Erklärungen zu generieren. Wir bewerten die Qualität dieser LLM-generierten Erklärungen rigoros anhand einer umfassenden Suite von Metriken zur Erzeugung natürlicher Sprache (Natural Language Generation, NLG). Darüber hinaus untersuchen wir die Auswirkungen dieser Erklärungen auf die Leistung vortrainierter Sprachmodelle (Pre-trained Language Models, PLMs) und LLMs bei Aufgaben zur natürlichen Sprachinferenz auf zwei diversen Benchmark-Datensätzen. Unsere Experimente zeigen, dass automatisierte Erklärungen im Vergleich zu menschlich annotierten Erklärungen eine äußerst wettbewerbsfähige Effektivität bei der Verbesserung der Modellleistung aufweisen. Unsere Ergebnisse unterstreichen einen vielversprechenden Ansatz für die skalierbare, automatisierte Generierung textbasierter Erklärungen auf LLM-Basis, um NLP-Datensätze zu erweitern und die Modellleistung zu steigern.
English
In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.
PDF22August 14, 2025