SIFT-50M: 音声指示ファインチューニングのための大規模多言語データセット

SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning

April 12, 2025

著者: Prabhat Pandey, Rupak Vignesh Swaminathan, K V Vijay Girish, Arunasish Sen, Jian Xie, Grant P. Strimel, Andreas Schwarz

cs.AI

要旨

SIFT（Speech Instruction Fine-Tuning）を紹介します。これは、音声-テキスト大規模言語モデル（LLMs）の指示ファインチューニングおよび事前学習のために設計された5000万例のデータセットです。SIFT-50Mは、公開されている音声コーパスから構築されており、合計14,000時間の音声を含み、LLMsと既存の専門家モデルを活用しています。このデータセットは5つの言語をカバーし、多様な音声理解と制御可能な音声生成の指示を含んでいます。SIFT-50Mを使用して、SIFT-LLMを学習させ、指示追従ベンチマークにおいて既存の音声-テキストLLMsを上回り、基本的な音声タスクでも競争力のある性能を達成しました。さらに研究を支援するため、音声-テキストLLMsの指示追従能力を評価するために特別に設計されたベンチマークデータセットであるEvalSIFTも導入しました。

English

We introduce SIFT (Speech Instruction Fine-Tuning), a 50M-example dataset designed for instruction fine-tuning and pre-training of speech-text large language models (LLMs). SIFT-50M is built from publicly available speech corpora, which collectively contain 14K hours of speech, and leverages LLMs along with off-the-shelf expert models. The dataset spans five languages, encompassing a diverse range of speech understanding as well as controllable speech generation instructions. Using SIFT-50M, we train SIFT-LLM, which outperforms existing speech-text LLMs on instruction-following benchmarks while achieving competitive performance on foundational speech tasks. To support further research, we also introduce EvalSIFT, a benchmark dataset specifically designed to evaluate the instruction-following capabilities of speech-text LLMs.