Franchir les barrières linguistiques dans le domaine de la santé : une étude sur les LLMs en arabe.

Bridging Language Barriers in Healthcare: A Study on Arabic LLMs

January 16, 2025

Auteurs: Nada Saadi, Tathagata Raha, Clément Christophe, Marco AF Pimentel, Ronnie Rajan, Praveen K Kanithi

cs.AI

Résumé

Cet article examine les défis liés au développement de grands modèles de langage (LLM) compétents à la fois dans la compréhension multilingue et les connaissances médicales. Nous démontrons que la simple traduction des données médicales ne garantit pas des performances solides dans les tâches cliniques dans la langue cible. Nos expériences révèlent que le mélange optimal de langues dans les données d'entraînement varie considérablement selon les différentes tâches médicales. Nous constatons que des modèles plus grands avec des ratios de langues soigneusement calibrés obtiennent des performances supérieures dans les tâches cliniques en langue maternelle. De plus, nos résultats suggèrent que se fier uniquement au fine-tuning pourrait ne pas être l'approche la plus efficace pour intégrer de nouvelles connaissances linguistiques dans les LLM. Au lieu de cela, des méthodes d'entraînement préalable intensives en données et en calcul peuvent encore être nécessaires pour atteindre des performances optimales dans des contextes médicaux multilingues. Ces conclusions offrent des orientations précieuses pour la construction de systèmes d'IA médicale efficaces et inclusifs pour des communautés linguistiques diverses.

English

This paper investigates the challenges of developing large language models (LLMs) proficient in both multilingual understanding and medical knowledge. We demonstrate that simply translating medical data does not guarantee strong performance on clinical tasks in the target language. Our experiments reveal that the optimal language mix in training data varies significantly across different medical tasks. We find that larger models with carefully calibrated language ratios achieve superior performance on native-language clinical tasks. Furthermore, our results suggest that relying solely on fine-tuning may not be the most effective approach for incorporating new language knowledge into LLMs. Instead, data and computationally intensive pretraining methods may still be necessary to achieve optimal performance in multilingual medical settings. These findings provide valuable guidance for building effective and inclusive medical AI systems for diverse linguistic communities.