Democratização Eficiente de Modelos de Linguagem Médica para 50 Idiomas por Meio de uma Mistura de Especialistas em Famílias Linguísticas.

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Autores: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Resumo

A adaptação de Modelos de Linguagem de Grande Escala médicos para idiomas locais pode reduzir as barreiras de acesso aos serviços de saúde, mas a escassez de dados continua a ser um desafio significativo, especialmente para idiomas com poucos recursos. Para lidar com isso, primeiro construímos um conjunto de dados médicos de alta qualidade e conduzimos análises para garantir sua qualidade. A fim de aproveitar a capacidade de generalização de Modelos de Linguagem de Grande Escala multilíngues para escalar eficientemente para idiomas com recursos limitados, exploramos o fluxo de informação interno dos LLMs de uma perspectiva multilíngue usando a modularidade Mixture of Experts (MoE). Tecnicamente, propomos um novo método de roteamento MoE que emprega especialistas específicos de idiomas e roteamento entre idiomas. Inspirado na teoria dos circuitos, nossa análise de roteamento revelou um mecanismo de fluxo de informação Spread Out in the End: enquanto as camadas iniciais concentram o fluxo de informação entre idiomas, as camadas posteriores exibem uma divergência específica do idioma. Essa percepção levou diretamente ao desenvolvimento da arquitetura Post-MoE, que aplica roteamento esparsa apenas nas camadas posteriores, mantendo densas as demais. Resultados experimentais demonstram que essa abordagem melhora a generalização de modelos multilíngues para outros idiomas, preservando a interpretabilidade. Por fim, para escalar eficientemente o modelo para 50 idiomas, introduzimos o conceito de especialistas em famílias de idiomas, baseando-se em conhecimentos linguísticos prévios, o que permite aumentar o número de idiomas sem adicionar parâmetros adicionais.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.