Knesset-DictaBERT: Een Taalmodel voor Hebreeuws voor Parlementaire Handelingen
Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings
July 30, 2024
Auteurs: Gili Goldin, Shuly Wintner
cs.AI
Samenvatting
Wij presenteren Knesset-DictaBERT, een groot Hebreeuws taalmodel dat is afgestemd op het Knesset Corpus, dat bestaat uit Israëlische parlementaire verslagen. Het model is gebaseerd op de DictaBERT-architectuur en toont aanzienlijke verbeteringen in het begrijpen van parlementaire taal volgens de MLM-taak. Wij bieden een gedetailleerde evaluatie van de prestaties van het model, waarbij verbeteringen in perplexiteit en nauwkeurigheid ten opzichte van het baseline DictaBERT-model worden aangetoond.
English
We present Knesset-DictaBERT, a large Hebrew language model fine-tuned on the
Knesset Corpus, which comprises Israeli parliamentary proceedings. The model is
based on the DictaBERT architecture and demonstrates significant improvements
in understanding parliamentary language according to the MLM task. We provide a
detailed evaluation of the model's performance, showing improvements in
perplexity and accuracy over the baseline DictaBERT model.