SUTRA : Architecture de modèle de langage multilingue évolutive

SUTRA: Scalable Multilingual Language Model Architecture

May 7, 2024

Auteurs: Abhijit Bendale, Michael Sapienza, Steven Ripplinger, Simon Gibbs, Jaewon Lee, Pranav Mistry

cs.AI

Résumé

Dans cet article, nous présentons SUTRA, une architecture de modèle de langage multilingue de grande envergure capable de comprendre, raisonner et générer du texte dans plus de 50 langues. La conception de SUTRA découple de manière unique la compréhension conceptuelle centrale du traitement spécifique à chaque langue, ce qui facilite un alignement et un apprentissage multilingues évolutifs et efficaces. En employant un cadre de Mélange d'Experts à la fois pour le traitement des langues et des concepts, SUTRA démontre à la fois une efficacité computationnelle et une réactivité. À travers des évaluations approfondies, SUTRA surpasse des modèles existants comme GPT-3.5 et Llama2 de 20 à 30 % sur les principaux benchmarks de compréhension multilingue Massive Multitask Language Understanding (MMLU) pour les tâches multilingues. Les modèles SUTRA sont également des modèles de langage en ligne qui peuvent utiliser les connaissances d'Internet pour fournir des réponses factuelles, à jour et exemptes d'hallucinations tout en conservant leurs capacités multilingues. De plus, nous explorons les implications plus larges de son architecture pour l'avenir de l'IA multilingue, en mettant en lumière son potentiel à démocratiser l'accès à la technologie de l'IA à l'échelle mondiale et à améliorer l'équité et l'utilité de l'IA dans les régions où les langues non anglaises prédominent. Nos résultats suggèrent que SUTRA comble non seulement des lacunes cruciales dans les capacités des modèles multilingues, mais établit également un nouveau standard en matière d'efficacité opérationnelle et de scalabilité dans les applications d'IA.

English

In this paper, we introduce SUTRA, multilingual Large Language Model architecture capable of understanding, reasoning, and generating text in over 50 languages. SUTRA's design uniquely decouples core conceptual understanding from language-specific processing, which facilitates scalable and efficient multilingual alignment and learning. Employing a Mixture of Experts framework both in language and concept processing, SUTRA demonstrates both computational efficiency and responsiveness. Through extensive evaluations, SUTRA is demonstrated to surpass existing models like GPT-3.5, Llama2 by 20-30% on leading Massive Multitask Language Understanding (MMLU) benchmarks for multilingual tasks. SUTRA models are also online LLMs that can use knowledge from the internet to provide hallucination-free, factual and up-to-date responses while retaining their multilingual capabilities. Furthermore, we explore the broader implications of its architecture for the future of multilingual AI, highlighting its potential to democratize access to AI technology globally and to improve the equity and utility of AI in regions with predominantly non-English languages. Our findings suggest that SUTRA not only fills pivotal gaps in multilingual model capabilities but also establishes a new benchmark for operational efficiency and scalability in AI applications.