Grenzen doorbreken: Onderzoek naar de effecten van modelbewerking op cross-linguïstische prestaties
Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance
June 17, 2024
Auteurs: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee
cs.AI
Samenvatting
De integratie van vooraf getrainde taalmodelen (PLMs) zoals BERT en GPT heeft een revolutie teweeggebracht in NLP, met name voor het Engels, maar heeft ook linguïstische ongelijkheden gecreëerd. Dit artikel identificeert strategisch de noodzaak voor linguïstische gelijkheid door verschillende kennisbewerkingstechnieken in meertalige contexten te onderzoeken. We evalueren de prestaties van modellen zoals Mistral, TowerInstruct, OpenHathi, Tamil-Llama en Kan-Llama in talen waaronder Engels, Duits, Frans, Italiaans, Spaans, Hindi, Tamil en Kannada. Ons onderzoek identificeert significante discrepanties in normale en samengevoegde modellen met betrekking tot cross-linguïstische consistentie. We gebruiken strategieën zoals 'elke taal voor zichzelf' (ELFI) en 'elke taal voor anderen' (ELFO) om deze modellen stresstests te laten ondergaan. Onze bevindingen tonen het potentieel aan van LLMs om linguïstische barrières te overwinnen, en leggen de basis voor toekomstig onderzoek naar het bereiken van linguïstische inclusiviteit in AI-technologieën.
English
The integration of pretrained language models (PLMs) like BERT and GPT has
revolutionized NLP, particularly for English, but it has also created
linguistic imbalances. This paper strategically identifies the need for
linguistic equity by examining several knowledge editing techniques in
multilingual contexts. We evaluate the performance of models such as Mistral,
TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including
English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our
research identifies significant discrepancies in normal and merged models
concerning cross-lingual consistency. We employ strategies like 'each language
for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these
models. Our findings demonstrate the potential for LLMs to overcome linguistic
barriers, laying the groundwork for future research in achieving linguistic
inclusivity in AI technologies.