BOE-XSUM : Synthèse extrême en langage clair des décrets et notifications juridiques espagnols

papers.abstract

La capacité à résumer de manière concise des documents longs est de plus en plus importante dans la vie quotidienne en raison de la surcharge d'information. Cependant, il existe un manque notable de tels résumés pour les documents en espagnol en général, et dans le domaine juridique en particulier. Dans ce travail, nous présentons BOE-XSUM, un ensemble de données soigneusement constitué comprenant 3 648 résumés concis et rédigés en langage clair de documents provenant du « Boletín Oficial del Estado » (BOE), le Journal Officiel de l'État espagnol. Chaque entrée de l'ensemble de données comprend un résumé court, le texte original et son étiquette de type de document. Nous évaluons la performance de modèles de langage de grande taille (LLMs) de taille moyenne, affinés sur BOE-XSUM, en les comparant à des modèles génératifs polyvalents dans un contexte de zero-shot. Les résultats montrent que les modèles affinés surpassent significativement leurs homologues non spécialisés. Notamment, le modèle le plus performant — BERTIN GPT-J 6B (précision 32 bits) — obtient un gain de performance de 24 % par rapport au meilleur modèle zero-shot, DeepSeek-R1 (précisions de 41,6 % contre 33,5 %).

English

The ability to summarize long documents succinctly is increasingly important in daily life due to information overload, yet there is a notable lack of such summaries for Spanish documents in general, and in the legal domain in particular. In this work, we present BOE-XSUM, a curated dataset comprising 3,648 concise, plain-language summaries of documents sourced from Spain's ``Bolet\'{\i}n Oficial del Estado'' (BOE), the State Official Gazette. Each entry in the dataset includes a short summary, the original text, and its document type label. We evaluate the performance of medium-sized large language models (LLMs) fine-tuned on BOE-XSUM, comparing them to general-purpose generative models in a zero-shot setting. Results show that fine-tuned models significantly outperform their non-specialized counterparts. Notably, the best-performing model -- BERTIN GPT-J 6B (32-bit precision) -- achieves a 24\% performance gain over the top zero-shot model, DeepSeek-R1 (accuracies of 41.6\% vs.\ 33.5\%).

BOE-XSUM : Synthèse extrême en langage clair des décrets et notifications juridiques espagnols

BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications

papers.abstract

Support