Démocratisation efficace des LLM médicaux pour 50 langues via un mélange d'experts en familles de langues.

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Auteurs: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Résumé

L'adaptation des grands modèles de langage médical aux langues locales peut réduire les barrières à l'accès aux services de santé, mais la rareté des données reste un défi important, en particulier pour les langues à faibles ressources. Pour y remédier, nous construisons d'abord un ensemble de données médicales de haute qualité et menons une analyse pour en assurer la qualité. Afin de tirer parti de la capacité de généralisation des grands modèles de langage multilingues pour s'étendre efficacement à des langues plus limitées en ressources, nous explorons le flux d'informations internes des grands modèles de langage d'un point de vue multilingue en utilisant la modularité Mixture of Experts (MoE). Techniquement, nous proposons une nouvelle méthode de routage MoE qui utilise des experts spécifiques à chaque langue et un routage interlingue. Inspirée par la théorie des circuits, notre analyse de routage a révélé un mécanisme de flux d'informations Spread Out in the End : tandis que les couches initiales concentrent le flux d'informations interlingues, les couches ultérieures présentent une divergence spécifique à chaque langue. Cette observation a directement conduit au développement de l'architecture Post-MoE, qui applique un routage clairsemé uniquement dans les couches ultérieures tout en maintenant les autres denses. Les résultats expérimentaux démontrent que cette approche améliore la généralisation des modèles multilingues à d'autres langues tout en préservant l'interprétabilité. Enfin, pour étendre efficacement le modèle à 50 langues, nous introduisons le concept d'experts de familles de langues, en s'appuyant sur des a priori linguistiques, ce qui permet d'augmenter le nombre de langues sans ajouter de paramètres supplémentaires.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.