Эффективное демократизирование медицинских LLMs для 50 языков с помощью смеси экспертов по языковым семьям.

Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts

October 14, 2024

Авторы: Guorui Zheng, Xidong Wang, Juhao Liang, Nuo Chen, Yuping Zheng, Benyou Wang

cs.AI

Аннотация

Адаптация медицинских моделей больших языковых моделей к местным языкам может снизить барьеры для доступа к медицинским услугам, однако недостаток данных остается значительным вызовом, особенно для языков с ограниченными ресурсами. Для решения этой проблемы мы сначала создаем высококачественный медицинский набор данных и проводим анализ для обеспечения его качества. Чтобы использовать возможность обобщения мультиязычных моделей больших языковых моделей для эффективного масштабирования на языки с ограниченными ресурсами, мы исследуем внутренний информационный поток LLM с мультиязычной перспективы, используя модульность Mixture of Experts (MoE). Технически мы предлагаем новый метод маршрутизации MoE, который использует языковые эксперты и межъязыковую маршрутизацию. Вдохновленный теорией цепей, наш анализ маршрутизации выявил механизм распределения информации Spread Out in the End: в то время как более ранние слои концентрируют межъязыковый информационный поток, более поздние слои проявляют языковую специфичность. Это наблюдение прямо привело к разработке архитектуры Post-MoE, которая применяет разреженную маршрутизацию только в более поздних слоях, сохраняя плотные другие. Экспериментальные результаты показывают, что этот подход улучшает обобщение мультиязычных моделей на другие языки, сохраняя интерпретируемость. Наконец, чтобы эффективно масштабировать модель до 50 языков, мы вводим концепцию языковых семейных экспертов, опираясь на лингвистические априорные знания, что позволяет увеличить количество языков без добавления дополнительных параметров.

English

Adapting medical Large Language Models to local languages can reduce barriers to accessing healthcare services, but data scarcity remains a significant challenge, particularly for low-resource languages. To address this, we first construct a high-quality medical dataset and conduct analysis to ensure its quality. In order to leverage the generalization capability of multilingual LLMs to efficiently scale to more resource-constrained languages, we explore the internal information flow of LLMs from a multilingual perspective using Mixture of Experts (MoE) modularity. Technically, we propose a novel MoE routing method that employs language-specific experts and cross-lingual routing. Inspired by circuit theory, our routing analysis revealed a Spread Out in the End information flow mechanism: while earlier layers concentrate cross-lingual information flow, the later layers exhibit language-specific divergence. This insight directly led to the development of the Post-MoE architecture, which applies sparse routing only in the later layers while maintaining dense others. Experimental results demonstrate that this approach enhances the generalization of multilingual models to other languages while preserving interpretability. Finally, to efficiently scale the model to 50 languages, we introduce the concept of language family experts, drawing on linguistic priors, which enables scaling the number of languages without adding additional parameters.