BOE-XSUM: スペイン法規・通知の平易な言語による極端要約

要旨

長文書を簡潔に要約する能力は、情報過多の現代社会においてますます重要になっています。しかし、特に法律分野において、スペイン語文書の要約は著しく不足しています。本研究では、スペインの「Boletín Oficial del Estado」（BOE、国家官報）から収集した文書を基に、3,648件の簡潔で平易な要約を含むBOE-XSUMデータセットを構築しました。データセットの各エントリには、短い要約、原文、および文書タイプのラベルが含まれています。BOE-XSUMでファインチューニングした中規模の大規模言語モデル（LLM）の性能を評価し、ゼロショット設定での汎用生成モデルと比較しました。その結果、ファインチューニングされたモデルは、非専門モデルを大幅に上回る性能を示しました。特に、最高性能を発揮したモデルであるBERTIN GPT-J 6B（32ビット精度）は、トップのゼロショットモデルであるDeepSeek-R1に対して24％の性能向上を達成しました（精度41.6％対33.5％）。

English

The ability to summarize long documents succinctly is increasingly important in daily life due to information overload, yet there is a notable lack of such summaries for Spanish documents in general, and in the legal domain in particular. In this work, we present BOE-XSUM, a curated dataset comprising 3,648 concise, plain-language summaries of documents sourced from Spain's ``Bolet\'{\i}n Oficial del Estado'' (BOE), the State Official Gazette. Each entry in the dataset includes a short summary, the original text, and its document type label. We evaluate the performance of medium-sized large language models (LLMs) fine-tuned on BOE-XSUM, comparing them to general-purpose generative models in a zero-shot setting. Results show that fine-tuned models significantly outperform their non-specialized counterparts. Notably, the best-performing model -- BERTIN GPT-J 6B (32-bit precision) -- achieves a 24\% performance gain over the top zero-shot model, DeepSeek-R1 (accuracies of 41.6\% vs.\ 33.5\%).

BOE-XSUM: スペイン法規・通知の平易な言語による極端要約

BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications

要旨

Support