BOE-XSUM: 스페인 법령 및 공고문의 명확한 언어로의 극단적 요약

초록

긴 문서를 간결하게 요약하는 능력은 정보 과부하로 인해 일상생활에서 점점 더 중요해지고 있지만, 일반적으로 스페인어 문서, 특히 법률 분야에서 이러한 요약문이 현저히 부족한 실정입니다. 본 연구에서는 스페인의 'Boletín Oficial del Estado'(BOE, 국가 공보)에서 발췌한 문서로 구성된 BOE-XSUM 데이터셋을 소개합니다. 이 데이터셋은 3,648개의 간결하고 평이한 언어로 작성된 요약문, 원본 텍스트, 그리고 문서 유형 레이블을 포함하고 있습니다. 우리는 BOE-XSUM 데이터셋으로 미세 조정된 중간 규모의 대형 언어 모델(LLM)의 성능을 평가하고, 이를 제로샷 설정에서의 일반 목적 생성 모델과 비교합니다. 결과에 따르면, 미세 조정된 모델이 비전문 모델을 크게 능가하는 것으로 나타났습니다. 특히, 가장 우수한 성능을 보인 모델인 BERTIN GPT-J 6B(32비트 정밀도)는 최고의 제로샷 모델인 DeepSeek-R1에 비해 24%의 성능 향상을 달성했습니다(정확도 41.6% 대 33.5%).

English

The ability to summarize long documents succinctly is increasingly important in daily life due to information overload, yet there is a notable lack of such summaries for Spanish documents in general, and in the legal domain in particular. In this work, we present BOE-XSUM, a curated dataset comprising 3,648 concise, plain-language summaries of documents sourced from Spain's ``Bolet\'{\i}n Oficial del Estado'' (BOE), the State Official Gazette. Each entry in the dataset includes a short summary, the original text, and its document type label. We evaluate the performance of medium-sized large language models (LLMs) fine-tuned on BOE-XSUM, comparing them to general-purpose generative models in a zero-shot setting. Results show that fine-tuned models significantly outperform their non-specialized counterparts. Notably, the best-performing model -- BERTIN GPT-J 6B (32-bit precision) -- achieves a 24\% performance gain over the top zero-shot model, DeepSeek-R1 (accuracies of 41.6\% vs.\ 33.5\%).

BOE-XSUM: 스페인 법령 및 공고문의 명확한 언어로의 극단적 요약

BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications

초록

Support