医療分野における言語の壁を取り除く：アラビア語LLMに関する研究

要旨

本論文では、多言語理解と医学知識の両方に優れた大規模言語モデル（LLMs）を開発する際の課題について調査します。医学データを単に翻訳するだけでは、対象言語の臨床タスクで強力なパフォーマンスが保証されるわけではないことを示します。実験から、トレーニングデータ内の最適な言語ミックスは、異なる医学タスクにおいて大きく異なることが明らかになります。慎重にキャリブレーションされた言語比率を持つより大きなモデルが、母国語の臨床タスクで優れたパフォーマンスを達成することがわかります。さらに、新しい言語知識をLLMsに組み込むための最も効果的なアプローチとして、単にファインチューニングに依存することが最善ではない可能性が示唆されます。代わりに、データと計算量の多い事前学習手法が、多言語医学環境で最適なパフォーマンスを達成するために依然として必要であるかもしれません。これらの知見は、異なる言語コミュニティ向けに効果的で包括的な医療AIシステムを構築するための貴重なガイダンスを提供します。

English

This paper investigates the challenges of developing large language models (LLMs) proficient in both multilingual understanding and medical knowledge. We demonstrate that simply translating medical data does not guarantee strong performance on clinical tasks in the target language. Our experiments reveal that the optimal language mix in training data varies significantly across different medical tasks. We find that larger models with carefully calibrated language ratios achieve superior performance on native-language clinical tasks. Furthermore, our results suggest that relying solely on fine-tuning may not be the most effective approach for incorporating new language knowledge into LLMs. Instead, data and computationally intensive pretraining methods may still be necessary to achieve optimal performance in multilingual medical settings. These findings provide valuable guidance for building effective and inclusive medical AI systems for diverse linguistic communities.

医療分野における言語の壁を取り除く：アラビア語LLMに関する研究

Bridging Language Barriers in Healthcare: A Study on Arabic LLMs

要旨

Support