LLM 생성 텍스트 설명이 모델 분류 성능을 향상시킬 수 있는가? 실증적 연구

초록

빠르게 진화하는 설명 가능한 자연어 처리(NLP) 분야에서, 텍스트 기반 설명, 즉 인간과 유사한 논리적 근거는 모델 예측을 설명하고 해석 가능한 레이블로 데이터셋을 풍부하게 하는 데 핵심적인 역할을 합니다. 전통적인 접근 방식은 인간의 주석에 의존하는데, 이는 비용이 많이 들고 노동 집약적이며 확장성을 저해합니다. 본 연구에서는 최첨단 대형 언어 모델(LLMs)을 활용하여 고품질의 텍스트 설명을 자동으로 생성하는 프레임워크를 제시합니다. 우리는 자연어 생성(NLG) 평가 지표의 포괄적인 세트를 사용하여 이러한 LLM 생성 설명의 품질을 엄격히 평가합니다. 더 나아가, 두 가지 다양한 벤치마크 데이터셋에서 자연어 추론 작업에 대한 사전 학습된 언어 모델(PLMs)과 LLMs의 성능에 이러한 설명이 미치는 하류 영향을 조사합니다. 우리의 실험 결과는 자동 생성된 설명이 모델 성능 향상에 있어 인간이 주석을 단 설명과 비교해 매우 경쟁력 있는 효과를 보임을 입증합니다. 이러한 발견은 NLP 데이터셋을 확장하고 모델 성능을 강화하기 위한 확장 가능한 자동화된 LLM 기반 텍스트 설명 생성의 유망한 방향성을 강조합니다.

English

In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.

LLM 생성 텍스트 설명이 모델 분류 성능을 향상시킬 수 있는가? 실증적 연구

Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

초록

Support