Knesset-DictaBERT: Языковая модель на иврите для парламентских процедур

Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings

July 30, 2024

Авторы: Gili Goldin, Shuly Wintner

cs.AI

Аннотация

Мы представляем Knesset-DictaBERT, большую модель на иврите, донастроенную на корпусе Кнессета, включающем парламентские заседания Израиля. Модель основана на архитектуре DictaBERT и демонстрирует значительные улучшения в понимании парламентского языка в рамках задачи MLM. Мы предоставляем подробную оценку производительности модели, показывая улучшения в перплексии и точности по сравнению с базовой моделью DictaBERT.

English

We present Knesset-DictaBERT, a large Hebrew language model fine-tuned on the Knesset Corpus, which comprises Israeli parliamentary proceedings. The model is based on the DictaBERT architecture and demonstrates significant improvements in understanding parliamentary language according to the MLM task. We provide a detailed evaluation of the model's performance, showing improvements in perplexity and accuracy over the baseline DictaBERT model.