境界を超えて：モデル編集が言語横断的パフォーマンスに及ぼす影響の調査

Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance

June 17, 2024

著者: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee

cs.AI

要旨

BERTやGPTのような事前学習済み言語モデル（PLM）の統合は、特に英語においてNLPに革命をもたらしましたが、同時に言語的な不均衡も生み出しました。本論文は、多言語コンテキストにおけるいくつかの知識編集技術を検証することで、言語的公平性の必要性を戦略的に特定します。私たちは、Mistral、TowerInstruct、OpenHathi、Tamil-Llama、Kan-Llamaなどのモデルを、英語、ドイツ語、フランス語、イタリア語、スペイン語、ヒンディー語、タミル語、カンナダ語を含む複数の言語で評価します。本研究では、通常モデルと統合モデルにおけるクロスリンガル一貫性に関して重大な不一致を特定しました。これらのモデルをストレステストするために、「各言語は自身のために」（ELFI）と「各言語は他者のために」（ELFO）といった戦略を採用しています。私たちの研究結果は、LLMが言語的障壁を克服する可能性を示しており、AI技術における言語的包括性を実現するための将来の研究の基盤を築いています。

English

The integration of pretrained language models (PLMs) like BERT and GPT has revolutionized NLP, particularly for English, but it has also created linguistic imbalances. This paper strategically identifies the need for linguistic equity by examining several knowledge editing techniques in multilingual contexts. We evaluate the performance of models such as Mistral, TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our research identifies significant discrepancies in normal and merged models concerning cross-lingual consistency. We employ strategies like 'each language for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these models. Our findings demonstrate the potential for LLMs to overcome linguistic barriers, laying the groundwork for future research in achieving linguistic inclusivity in AI technologies.