Repousser les limites : Étude des effets de la modification de modèles sur les performances translinguistiques

Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance

June 17, 2024

Auteurs: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee

cs.AI

Résumé

L'intégration de modèles de langage pré-entraînés (PLM) comme BERT et GPT a révolutionné le traitement du langage naturel (NLP), en particulier pour l'anglais, mais elle a également créé des déséquilibres linguistiques. Cet article identifie stratégiquement la nécessité d'une équité linguistique en examinant plusieurs techniques d'édition de connaissances dans des contextes multilingues. Nous évaluons les performances de modèles tels que Mistral, TowerInstruct, OpenHathi, Tamil-Llama et Kan-Llama à travers des langues incluant l'anglais, l'allemand, le français, l'italien, l'espagnol, l'hindi, le tamoul et le kannada. Notre recherche met en lumière des écarts significatifs dans les modèles normaux et fusionnés en ce qui concerne la cohérence translinguistique. Nous employons des stratégies comme « chaque langue pour elle-même » (ELFI) et « chaque langue pour les autres » (ELFO) pour soumettre ces modèles à des tests de résistance. Nos résultats démontrent le potentiel des LLM à surmonter les barrières linguistiques, jetant les bases pour des recherches futures visant à atteindre une inclusivité linguistique dans les technologies d'IA.

English

The integration of pretrained language models (PLMs) like BERT and GPT has revolutionized NLP, particularly for English, but it has also created linguistic imbalances. This paper strategically identifies the need for linguistic equity by examining several knowledge editing techniques in multilingual contexts. We evaluate the performance of models such as Mistral, TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our research identifies significant discrepancies in normal and merged models concerning cross-lingual consistency. We employ strategies like 'each language for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these models. Our findings demonstrate the potential for LLMs to overcome linguistic barriers, laying the groundwork for future research in achieving linguistic inclusivity in AI technologies.