Superare i confini: un'analisi degli effetti della modifica dei modelli sulle prestazioni cross-linguistiche
Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance
June 17, 2024
Autori: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee
cs.AI
Abstract
L'integrazione di modelli linguistici preaddestrati (PLM) come BERT e GPT ha rivoluzionato l'elaborazione del linguaggio naturale (NLP), in particolare per l'inglese, ma ha anche creato squilibri linguistici. Questo articolo identifica strategicamente la necessità di equità linguistica esaminando diverse tecniche di modifica della conoscenza in contesti multilingue. Valutiamo le prestazioni di modelli come Mistral, TowerInstruct, OpenHathi, Tamil-Llama e Kan-Llama in lingue tra cui inglese, tedesco, francese, italiano, spagnolo, hindi, tamil e kannada. La nostra ricerca evidenzia significative discrepanze nei modelli normali e fusi riguardo alla coerenza cross-linguistica. Utilizziamo strategie come "ogni lingua per sé" (ELFI) e "ogni lingua per gli altri" (ELFO) per sottoporre questi modelli a test di stress. I nostri risultati dimostrano il potenziale dei modelli linguistici di grandi dimensioni (LLM) di superare le barriere linguistiche, gettando le basi per future ricerche volte a raggiungere l'inclusività linguistica nelle tecnologie di intelligenza artificiale.
English
The integration of pretrained language models (PLMs) like BERT and GPT has
revolutionized NLP, particularly for English, but it has also created
linguistic imbalances. This paper strategically identifies the need for
linguistic equity by examining several knowledge editing techniques in
multilingual contexts. We evaluate the performance of models such as Mistral,
TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including
English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our
research identifies significant discrepancies in normal and merged models
concerning cross-lingual consistency. We employ strategies like 'each language
for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these
models. Our findings demonstrate the potential for LLMs to overcome linguistic
barriers, laying the groundwork for future research in achieving linguistic
inclusivity in AI technologies.