Knesset-DictaBERT: Un modelo de lenguaje en hebreo para procedimientos parlamentarios

Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings

July 30, 2024

Autores: Gili Goldin, Shuly Wintner

cs.AI

Resumen

Presentamos Knesset-DictaBERT, un modelo de lenguaje hebreo grande ajustado en el Corpus del Knesset, que comprende los procedimientos parlamentarios israelíes. El modelo se basa en la arquitectura de DictaBERT y muestra mejoras significativas en la comprensión del lenguaje parlamentario según la tarea de MLM. Proporcionamos una evaluación detallada del rendimiento del modelo, mostrando mejoras en la perplejidad y la precisión en comparación con el modelo base de DictaBERT.

English

We present Knesset-DictaBERT, a large Hebrew language model fine-tuned on the Knesset Corpus, which comprises Israeli parliamentary proceedings. The model is based on the DictaBERT architecture and demonstrates significant improvements in understanding parliamentary language according to the MLM task. We provide a detailed evaluation of the model's performance, showing improvements in perplexity and accuracy over the baseline DictaBERT model.