Knesset-DictaBERT: Ein hebräisches Sprachmodell für parlamentarische Verhandlungen

Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings

July 30, 2024

Autoren: Gili Goldin, Shuly Wintner

cs.AI

Zusammenfassung

Wir präsentieren Knesset-DictaBERT, ein großes hebräisches Sprachmodell, das auf dem Knesset-Korpus feinabgestimmt ist, der israelische parlamentarische Sitzungen umfasst. Das Modell basiert auf der DictaBERT-Architektur und zeigt signifikante Verbesserungen im Verständnis parlamentarischer Sprache gemäß der MLM-Aufgabe. Wir bieten eine detaillierte Bewertung der Leistung des Modells, die Verbesserungen in Perplexität und Genauigkeit gegenüber dem Basis-DictaBERT-Modell aufzeigt.

English

We present Knesset-DictaBERT, a large Hebrew language model fine-tuned on the Knesset Corpus, which comprises Israeli parliamentary proceedings. The model is based on the DictaBERT architecture and demonstrates significant improvements in understanding parliamentary language according to the MLM task. We provide a detailed evaluation of the model's performance, showing improvements in perplexity and accuracy over the baseline DictaBERT model.