BOE-XSUM: Extreme Samenvatting in Duidelijke Taal van Spaanse Juridische Decreten en Mededelingen
BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications
September 29, 2025
Auteurs: Andrés Fernández García, Javier de la Rosa, Julio Gonzalo, Roser Morante, Enrique Amigó, Alejandro Benito-Santos, Jorge Carrillo-de-Albornoz, Víctor Fresno, Adrian Ghajari, Guillermo Marco, Laura Plaza, Eva Sánchez Salido
cs.AI
Samenvatting
Het vermogen om lange documenten beknopt samen te vatten wordt steeds belangrijker in het dagelijks leven vanwege informatie-overload, maar er is een opvallend gebrek aan dergelijke samenvattingen voor Spaanse documenten in het algemeen, en in het juridische domein in het bijzonder. In dit werk presenteren we BOE-XSUM, een gecureerde dataset bestaande uit 3.648 beknopte, eenvoudige samenvattingen van documenten afkomstig uit Spanje's ``Boletín Oficial del Estado'' (BOE), het Staatsblad. Elke vermelding in de dataset bevat een korte samenvatting, de originele tekst en het label van het documenttype. We evalueren de prestaties van middelgrote grote taalmodellen (LLM's) die zijn afgestemd op BOE-XSUM, en vergelijken deze met algemene generatieve modellen in een zero-shot setting. De resultaten laten zien dat afgestemde modellen aanzienlijk beter presteren dan hun niet-gespecialiseerde tegenhangers. Opmerkelijk is dat het best presterende model -- BERTIN GPT-J 6B (32-bit precisie) -- een prestatieverbetering van 24% behaalt ten opzichte van het beste zero-shot model, DeepSeek-R1 (nauwkeurigheden van 41,6% vs. 33,5%).
English
The ability to summarize long documents succinctly is increasingly important
in daily life due to information overload, yet there is a notable lack of such
summaries for Spanish documents in general, and in the legal domain in
particular. In this work, we present BOE-XSUM, a curated dataset comprising
3,648 concise, plain-language summaries of documents sourced from Spain's
``Bolet\'{\i}n Oficial del Estado'' (BOE), the State Official Gazette. Each
entry in the dataset includes a short summary, the original text, and its
document type label. We evaluate the performance of medium-sized large language
models (LLMs) fine-tuned on BOE-XSUM, comparing them to general-purpose
generative models in a zero-shot setting. Results show that fine-tuned models
significantly outperform their non-specialized counterparts. Notably, the
best-performing model -- BERTIN GPT-J 6B (32-bit precision) -- achieves a 24\%
performance gain over the top zero-shot model, DeepSeek-R1 (accuracies of
41.6\% vs.\ 33.5\%).