SUTRA: Arquitectura Escalable de Modelo de Lenguaje Multilingüe

SUTRA: Scalable Multilingual Language Model Architecture

May 7, 2024

Autores: Abhijit Bendale, Michael Sapienza, Steven Ripplinger, Simon Gibbs, Jaewon Lee, Pranav Mistry

cs.AI

Resumen

En este artículo presentamos SUTRA, una arquitectura de modelo de lenguaje grande (LLM) multilingüe capaz de comprender, razonar y generar texto en más de 50 idiomas. El diseño de SUTRA desacopla de manera única la comprensión conceptual central del procesamiento específico del idioma, lo que facilita una alineación y aprendizaje multilingüe escalable y eficiente. Al emplear un marco de Mezcla de Expertos tanto en el procesamiento de idiomas como de conceptos, SUTRA demuestra eficiencia computacional y capacidad de respuesta. A través de evaluaciones exhaustivas, se demuestra que SUTRA supera a modelos existentes como GPT-3.5 y Llama2 en un 20-30% en los principales puntos de referencia de Comprensión Masiva de Tareas Multilingües (MMLU) para tareas multilingües. Los modelos SUTRA también son LLM en línea que pueden utilizar conocimiento de internet para proporcionar respuestas libres de alucinaciones, factuales y actualizadas, manteniendo sus capacidades multilingües. Además, exploramos las implicaciones más amplias de su arquitectura para el futuro de la IA multilingüe, destacando su potencial para democratizar el acceso a la tecnología de IA a nivel global y mejorar la equidad y utilidad de la IA en regiones con idiomas predominantemente no ingleses. Nuestros hallazgos sugieren que SUTRA no solo llena brechas clave en las capacidades de los modelos multilingües, sino que también establece un nuevo estándar en eficiencia operativa y escalabilidad para aplicaciones de IA.

English

In this paper, we introduce SUTRA, multilingual Large Language Model architecture capable of understanding, reasoning, and generating text in over 50 languages. SUTRA's design uniquely decouples core conceptual understanding from language-specific processing, which facilitates scalable and efficient multilingual alignment and learning. Employing a Mixture of Experts framework both in language and concept processing, SUTRA demonstrates both computational efficiency and responsiveness. Through extensive evaluations, SUTRA is demonstrated to surpass existing models like GPT-3.5, Llama2 by 20-30% on leading Massive Multitask Language Understanding (MMLU) benchmarks for multilingual tasks. SUTRA models are also online LLMs that can use knowledge from the internet to provide hallucination-free, factual and up-to-date responses while retaining their multilingual capabilities. Furthermore, we explore the broader implications of its architecture for the future of multilingual AI, highlighting its potential to democratize access to AI technology globally and to improve the equity and utility of AI in regions with predominantly non-English languages. Our findings suggest that SUTRA not only fills pivotal gaps in multilingual model capabilities but also establishes a new benchmark for operational efficiency and scalability in AI applications.