Democratización eficiente de modelos de lenguaje de aprendizaje automático médico para 50 idiomas a través de una mezcla de expertos en familias lingüísticas.

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Autores: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Resumen

Adaptar Modelos de Lenguaje Grandes médicos a idiomas locales puede reducir barreras para acceder a servicios de atención médica, pero la escasez de datos sigue siendo un desafío significativo, especialmente para idiomas con pocos recursos. Para abordar esto, primero construimos un conjunto de datos médicos de alta calidad y realizamos un análisis para garantizar su calidad. Con el fin de aprovechar la capacidad de generalización de los Modelos de Lenguaje Grandes multilingües para escalar eficientemente a idiomas con recursos limitados, exploramos el flujo de información interno de los Modelos de Lenguaje Grandes desde una perspectiva multilingüe utilizando la modularidad de Mezcla de Expertos (MoE). Técnicamente, proponemos un nuevo método de enrutamiento de MoE que emplea expertos específicos de cada idioma y enrutamiento entre idiomas. Inspirado en la teoría de circuitos, nuestro análisis de enrutamiento reveló un mecanismo de flujo de información Spread Out in the End: mientras que las capas iniciales concentran el flujo de información entre idiomas, las capas posteriores muestran una divergencia específica de cada idioma. Esta percepción condujo directamente al desarrollo de la arquitectura Post-MoE, que aplica un enrutamiento disperso solo en las capas posteriores mientras mantiene densas las demás. Los resultados experimentales demuestran que este enfoque mejora la generalización de los modelos multilingües a otros idiomas al tiempo que conserva la interpretabilidad. Finalmente, para escalar eficientemente el modelo a 50 idiomas, introducimos el concepto de expertos en familias de idiomas, basándonos en supuestos lingüísticos, lo que permite aumentar el número de idiomas sin agregar parámetros adicionales.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.