Преодоление границ: Исследование влияния редактирования модели на кросс-языковую производительность

Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance

June 17, 2024

Авторы: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee

cs.AI

Аннотация

Интеграция предварительно обученных языковых моделей (PLM), таких как BERT и GPT, революционизировала область обработки естественного языка (NLP), особенно для английского языка, но также привела к возникновению лингвистических дисбалансов. В данной статье стратегически выявляется потребность в лингвистической равноправности путем изучения нескольких техник редактирования знаний в многоязычных контекстах. Мы оцениваем производительность моделей, таких как Mistral, TowerInstruct, OpenHathi, Tamil-Llama и Kan-Llama, на различных языках, включая английский, немецкий, французский, итальянский, испанский, хинди, тамильский и каннада. Наши исследования выявляют значительные расхождения в нормальных и объединенных моделях в отношении межъязыковой согласованности. Мы применяем стратегии, такие как "каждый язык за себя" (ELFI) и "каждый язык за других" (ELFO), для проверки на прочность этих моделей. Наши результаты демонстрируют потенциал LLM для преодоления лингвистических барьеров, заложив основу для будущих исследований в области достижения лингвистической инклюзивности в технологиях искусственного интеллекта.

English

The integration of pretrained language models (PLMs) like BERT and GPT has revolutionized NLP, particularly for English, but it has also created linguistic imbalances. This paper strategically identifies the need for linguistic equity by examining several knowledge editing techniques in multilingual contexts. We evaluate the performance of models such as Mistral, TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our research identifies significant discrepancies in normal and merged models concerning cross-lingual consistency. We employ strategies like 'each language for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these models. Our findings demonstrate the potential for LLMs to overcome linguistic barriers, laying the groundwork for future research in achieving linguistic inclusivity in AI technologies.