BOE-XSUM: Extreme Zusammenfassung in klarer Sprache spanischer Rechtsverordnungen und Bekanntmachungen

BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications

September 29, 2025

papers.authors: Andrés Fernández García, Javier de la Rosa, Julio Gonzalo, Roser Morante, Enrique Amigó, Alejandro Benito-Santos, Jorge Carrillo-de-Albornoz, Víctor Fresno, Adrian Ghajari, Guillermo Marco, Laura Plaza, Eva Sánchez Salido

cs.AI

papers.abstract

Die Fähigkeit, lange Dokumente prägnant zusammenzufassen, wird im täglichen Leben aufgrund von Informationsüberflutung zunehmend wichtiger. Dennoch gibt es einen bemerkenswerten Mangel an solchen Zusammenfassungen für spanische Dokumente im Allgemeinen und insbesondere im juristischen Bereich. In dieser Arbeit präsentieren wir BOE-XSUM, einen kuratierten Datensatz, der 3.648 prägnante, leicht verständliche Zusammenfassungen von Dokumenten aus dem spanischen „Boletín Oficial del Estado“ (BOE), dem Amtsblatt des Staates, umfasst. Jeder Eintrag im Datensatz enthält eine kurze Zusammenfassung, den Originaltext und dessen Dokumenttyp-Kennzeichnung. Wir bewerten die Leistung mittelgroßer Large Language Models (LLMs), die auf BOE-XSUM feinabgestimmt wurden, und vergleichen sie mit allgemeinen generativen Modellen in einem Zero-Shot-Setting. Die Ergebnisse zeigen, dass feinabgestimmte Modelle ihre nicht spezialisierten Gegenstücke deutlich übertreffen. Besonders hervorzuheben ist, dass das leistungsstärkste Modell – BERTIN GPT-J 6B (32-Bit-Präzision) – eine Leistungssteigerung von 24 % gegenüber dem besten Zero-Shot-Modell, DeepSeek-R1, erzielt (Genauigkeiten von 41,6 % gegenüber 33,5 %).

English

The ability to summarize long documents succinctly is increasingly important in daily life due to information overload, yet there is a notable lack of such summaries for Spanish documents in general, and in the legal domain in particular. In this work, we present BOE-XSUM, a curated dataset comprising 3,648 concise, plain-language summaries of documents sourced from Spain's ``Bolet\'{\i}n Oficial del Estado'' (BOE), the State Official Gazette. Each entry in the dataset includes a short summary, the original text, and its document type label. We evaluate the performance of medium-sized large language models (LLMs) fine-tuned on BOE-XSUM, comparing them to general-purpose generative models in a zero-shot setting. Results show that fine-tuned models significantly outperform their non-specialized counterparts. Notably, the best-performing model -- BERTIN GPT-J 6B (32-bit precision) -- achieves a 24\% performance gain over the top zero-shot model, DeepSeek-R1 (accuracies of 41.6\% vs.\ 33.5\%).