SUTRA：スケーラブルな多言語言語モデルアーキテクチャ

SUTRA: Scalable Multilingual Language Model Architecture

May 7, 2024

著者: Abhijit Bendale, Michael Sapienza, Steven Ripplinger, Simon Gibbs, Jaewon Lee, Pranav Mistry

cs.AI

要旨

本論文では、50以上の言語でテキストの理解、推論、生成が可能な多言語大規模言語モデルアーキテクチャ「SUTRA」を紹介する。SUTRAの設計は、中核的な概念理解と言語固有の処理を分離する点で独特であり、スケーラブルで効率的な多言語アラインメントと学習を促進する。言語処理と概念処理の両方においてMixture of Expertsフレームワークを採用することで、SUTRAは計算効率と応答性の両方を実証している。広範な評価を通じて、SUTRAは多言語タスクにおけるMassive Multitask Language Understanding（MMLU）ベンチマークで、GPT-3.5やLlama2などの既存モデルを20～30％上回る性能を示した。また、SUTRAモデルはオンラインLLMであり、インターネットからの知識を活用して、多言語能力を維持しつつ、事実に基づいた最新の回答を提供することができる。さらに、そのアーキテクチャが多言語AIの未来に与える広範な影響を探り、世界的にAI技術へのアクセスを民主化し、非英語圏におけるAIの公平性と有用性を向上させる可能性を強調する。我々の研究結果は、SUTRAが多言語モデルの能力における重要なギャップを埋めるだけでなく、AIアプリケーションにおける運用効率とスケーラビリティの新たなベンチマークを確立することを示唆している。

English

In this paper, we introduce SUTRA, multilingual Large Language Model architecture capable of understanding, reasoning, and generating text in over 50 languages. SUTRA's design uniquely decouples core conceptual understanding from language-specific processing, which facilitates scalable and efficient multilingual alignment and learning. Employing a Mixture of Experts framework both in language and concept processing, SUTRA demonstrates both computational efficiency and responsiveness. Through extensive evaluations, SUTRA is demonstrated to surpass existing models like GPT-3.5, Llama2 by 20-30% on leading Massive Multitask Language Understanding (MMLU) benchmarks for multilingual tasks. SUTRA models are also online LLMs that can use knowledge from the internet to provide hallucination-free, factual and up-to-date responses while retaining their multilingual capabilities. Furthermore, we explore the broader implications of its architecture for the future of multilingual AI, highlighting its potential to democratize access to AI technology globally and to improve the equity and utility of AI in regions with predominantly non-English languages. Our findings suggest that SUTRA not only fills pivotal gaps in multilingual model capabilities but also establishes a new benchmark for operational efficiency and scalability in AI applications.