Superando Barreiras Linguísticas na Área da Saúde: Um Estudo sobre Modelos de Linguagem com Memória Longa em Árabe

Bridging Language Barriers in Healthcare: A Study on Arabic LLMs

January 16, 2025

Autores: Nada Saadi, Tathagata Raha, Clément Christophe, Marco AF Pimentel, Ronnie Rajan, Praveen K Kanithi

cs.AI

Resumo

Este artigo investiga os desafios de desenvolver grandes modelos de linguagem (LLMs) proficientes tanto em compreensão multilíngue quanto em conhecimento médico. Demonstramos que simplesmente traduzir dados médicos não garante um desempenho forte em tarefas clínicas no idioma alvo. Nossos experimentos revelam que a combinação de idiomas ideal nos dados de treinamento varia significativamente entre diferentes tarefas médicas. Descobrimos que modelos maiores com proporções de idiomas cuidadosamente calibradas alcançam desempenho superior em tarefas clínicas no idioma nativo. Além disso, nossos resultados sugerem que depender exclusivamente do ajuste fino pode não ser a abordagem mais eficaz para incorporar novos conhecimentos linguísticos em LLMs. Em vez disso, métodos de pré-treinamento intensivos em dados e computacionalmente podem ainda ser necessários para alcançar um desempenho ótimo em ambientes médicos multilíngues. Essas descobertas fornecem orientações valiosas para a construção de sistemas de IA médica eficazes e inclusivos para diversas comunidades linguísticas.

English

This paper investigates the challenges of developing large language models (LLMs) proficient in both multilingual understanding and medical knowledge. We demonstrate that simply translating medical data does not guarantee strong performance on clinical tasks in the target language. Our experiments reveal that the optimal language mix in training data varies significantly across different medical tasks. We find that larger models with carefully calibrated language ratios achieve superior performance on native-language clinical tasks. Furthermore, our results suggest that relying solely on fine-tuning may not be the most effective approach for incorporating new language knowledge into LLMs. Instead, data and computationally intensive pretraining methods may still be necessary to achieve optimal performance in multilingual medical settings. These findings provide valuable guidance for building effective and inclusive medical AI systems for diverse linguistic communities.