SUTRA: Schaalbaar Architectuurmodel voor Meertalige Taalmodellen

SUTRA: Scalable Multilingual Language Model Architecture

May 7, 2024

Auteurs: Abhijit Bendale, Michael Sapienza, Steven Ripplinger, Simon Gibbs, Jaewon Lee, Pranav Mistry

cs.AI

Samenvatting

In dit artikel introduceren we SUTRA, een architectuur voor meertalige Large Language Models die tekst kan begrijpen, redeneren en genereren in meer dan 50 talen. Het ontwerp van SUTRA ontkoppelt op unieke wijze het kernconceptuele begrip van taalspecifieke verwerking, wat schaalbare en efficiënte meertalige uitlijning en leren bevordert. Door gebruik te maken van een Mixture of Experts-framework in zowel taal- als conceptverwerking, toont SUTRA zowel computationele efficiëntie als responsiviteit. Uit uitgebreide evaluaties blijkt dat SUTRA bestaande modellen zoals GPT-3.5 en Llama2 met 20-30% overtreft op toonaangevende Massive Multitask Language Understanding (MMLU) benchmarks voor meertalige taken. SUTRA-modellen zijn ook online LLM's die kennis van het internet kunnen gebruiken om hallucinatievrije, feitelijke en actuele antwoorden te geven, terwijl ze hun meertalige capaciteiten behouden. Bovendien onderzoeken we de bredere implicaties van de architectuur voor de toekomst van meertalige AI, waarbij we het potentieel benadrukken om toegang tot AI-technologie wereldwijd te democratiseren en de gelijkheid en bruikbaarheid van AI te verbeteren in regio's waar voornamelijk niet-Engelse talen worden gesproken. Onze bevindingen suggereren dat SUTRA niet alleen cruciale lacunes in meertalige modelcapaciteiten opvult, maar ook een nieuwe standaard vestigt voor operationele efficiëntie en schaalbaarheid in AI-toepassingen.

English

In this paper, we introduce SUTRA, multilingual Large Language Model architecture capable of understanding, reasoning, and generating text in over 50 languages. SUTRA's design uniquely decouples core conceptual understanding from language-specific processing, which facilitates scalable and efficient multilingual alignment and learning. Employing a Mixture of Experts framework both in language and concept processing, SUTRA demonstrates both computational efficiency and responsiveness. Through extensive evaluations, SUTRA is demonstrated to surpass existing models like GPT-3.5, Llama2 by 20-30% on leading Massive Multitask Language Understanding (MMLU) benchmarks for multilingual tasks. SUTRA models are also online LLMs that can use knowledge from the internet to provide hallucination-free, factual and up-to-date responses while retaining their multilingual capabilities. Furthermore, we explore the broader implications of its architecture for the future of multilingual AI, highlighting its potential to democratize access to AI technology globally and to improve the equity and utility of AI in regions with predominantly non-English languages. Our findings suggest that SUTRA not only fills pivotal gaps in multilingual model capabilities but also establishes a new benchmark for operational efficiency and scalability in AI applications.