Democratizzazione efficiente di modelli linguistici medici per 50 lingue tramite un mix di esperti delle famiglie linguistiche.

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Autori: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Abstract

L'adattamento dei Large Language Models medici alle lingue locali può ridurre le barriere all'accesso ai servizi sanitari, ma la scarsità di dati rimane una sfida significativa, in particolare per le lingue a bassa risorsa. Per affrontare questo problema, costruiamo innanzitutto un dataset medico di alta qualità e conduciamo un'analisi per garantirne la qualità. Al fine di sfruttare la capacità di generalizzazione dei Large Language Models multilingue per scalare efficientemente verso lingue più limitate di risorse, esploriamo il flusso di informazioni interna dei Large Language Models da una prospettiva multilingue utilizzando il modularità Mixture of Experts (MoE). Tecnicamente, proponiamo un nuovo metodo di routing MoE che impiega esperti specifici per la lingua e routing cross-linguistico. Ispirandoci alla teoria dei circuiti, la nostra analisi del routing ha rivelato un meccanismo di flusso di informazioni Spread Out in the End: mentre gli strati precedenti concentrano il flusso di informazioni cross-linguistiche, gli strati successivi mostrano una divergenza specifica della lingua. Questa intuizione ha portato direttamente allo sviluppo dell'architettura Post-MoE, che applica un routing sparso solo negli strati successivi mantenendo densi gli altri. I risultati sperimentali dimostrano che questo approccio migliora la generalizzazione dei modelli multilingue ad altre lingue preservando l'interpretabilità. Infine, per scalare efficientemente il modello a 50 lingue, introduciamo il concetto di esperti della famiglia linguistica, basandoci su priorità linguistiche, che consente di aumentare il numero di lingue senza aggiungere parametri aggiuntivi.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.