Grenzen überwinden: Untersuchung der Auswirkungen von Modellbearbeitung auf die leistungsübergreifende Performance

Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance

June 17, 2024

Autoren: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee

cs.AI

Zusammenfassung

Die Integration von vortrainierten Sprachmodellen (PLMs) wie BERT und GPT hat die NLP revolutioniert, insbesondere für Englisch, aber auch sprachliche Ungleichgewichte geschaffen. Dieser Artikel identifiziert strategisch die Notwendigkeit sprachlicher Gerechtigkeit, indem er verschiedene Techniken zur Wissensbearbeitung in multilingualen Kontexten untersucht. Wir evaluieren die Leistung von Modellen wie Mistral, TowerInstruct, OpenHathi, Tamil-Llama und Kan-Llama in Sprachen wie Englisch, Deutsch, Französisch, Italienisch, Spanisch, Hindi, Tamil und Kannada. Unsere Forschung identifiziert signifikante Diskrepanzen zwischen normalen und fusionierten Modellen hinsichtlich der sprachübergreifenden Konsistenz. Wir setzen Strategien wie 'jede Sprache für sich' (ELFI) und 'jede Sprache für andere' (ELFO) ein, um diese Modelle zu überprüfen. Unsere Ergebnisse zeigen das Potenzial von LLMs auf, sprachliche Barrieren zu überwinden und legen den Grundstein für zukünftige Forschung zur Erreichung sprachlicher Inklusivität in KI-Technologien.

English

The integration of pretrained language models (PLMs) like BERT and GPT has revolutionized NLP, particularly for English, but it has also created linguistic imbalances. This paper strategically identifies the need for linguistic equity by examining several knowledge editing techniques in multilingual contexts. We evaluate the performance of models such as Mistral, TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our research identifies significant discrepancies in normal and merged models concerning cross-lingual consistency. We employ strategies like 'each language for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these models. Our findings demonstrate the potential for LLMs to overcome linguistic barriers, laying the groundwork for future research in achieving linguistic inclusivity in AI technologies.