Romper Barreiras: Investigando os Efeitos da Edição de Modelos no Desempenho Translinguístico
Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance
June 17, 2024
Autores: Somnath Banerjee, Avik Halder, Rajarshi Mandal, Sayan Layek, Ian Soboroff, Rima Hazra, Animesh Mukherjee
cs.AI
Resumo
A integração de modelos de linguagem pré-treinados (PLMs), como BERT e GPT, revolucionou o processamento de linguagem natural (NLP), especialmente para o inglês, mas também criou desequilíbrios linguísticos. Este artigo identifica estrategicamente a necessidade de equidade linguística ao examinar várias técnicas de edição de conhecimento em contextos multilíngues. Avaliamos o desempenho de modelos como Mistral, TowerInstruct, OpenHathi, Tamil-Llama e Kan-Llama em idiomas como inglês, alemão, francês, italiano, espanhol, hindi, tâmil e canarês. Nossa pesquisa identifica discrepâncias significativas em modelos normais e mesclados em relação à consistência translinguística. Empregamos estratégias como "cada idioma por si mesmo" (ELFI) e "cada idioma para os outros" (ELFO) para testar a resistência desses modelos. Nossos resultados demonstram o potencial dos LLMs para superar barreiras linguísticas, estabelecendo as bases para pesquisas futuras visando alcançar a inclusividade linguística em tecnologias de IA.
English
The integration of pretrained language models (PLMs) like BERT and GPT has
revolutionized NLP, particularly for English, but it has also created
linguistic imbalances. This paper strategically identifies the need for
linguistic equity by examining several knowledge editing techniques in
multilingual contexts. We evaluate the performance of models such as Mistral,
TowerInstruct, OpenHathi, Tamil-Llama, and Kan-Llama across languages including
English, German, French, Italian, Spanish, Hindi, Tamil, and Kannada. Our
research identifies significant discrepancies in normal and merged models
concerning cross-lingual consistency. We employ strategies like 'each language
for itself' (ELFI) and 'each language for others' (ELFO) to stress-test these
models. Our findings demonstrate the potential for LLMs to overcome linguistic
barriers, laying the groundwork for future research in achieving linguistic
inclusivity in AI technologies.