SpiRit-LM: 音声と言語を交互に処理する言語モデル

要旨

SPIRIT-LMを紹介します。これは、テキストと音声を自由に組み合わせるマルチモーダル基盤言語モデルです。本モデルは、事前学習済みのテキスト言語モデルを基盤としており、テキストと音声ユニットを用いた継続的な学習によって音声モダリティに拡張されています。音声とテキストのシーケンスは単一のトークンセットとして連結され、自動的にキュレーションされた小規模な音声-テキスト並列コーパスを用いた単語レベルのインターリーブ手法で学習されます。SPIRIT-LMには2つのバージョンがあります：音声の意味ユニットを使用するBASEバージョンと、意味ユニットに加えてピッチやスタイルユニットを用いて表現力をモデル化するEXPRESSIVEバージョンです。どちらのバージョンも、テキストはサブワードBPEトークンでエンコードされます。結果として得られるモデルは、テキストモデルの意味理解能力と音声モデルの表現能力の両方を備えています。さらに、SPIRIT-LMがモダリティを跨いだ新しいタスク（例：ASR、TTS、音声分類）を数ショット学習で習得できることを実証します。

English

We introduce SPIRIT-LM, a foundation multimodal language model that freely mixes text and speech. Our model is based on a pretrained text language model that we extend to the speech modality by continuously training it on text and speech units. Speech and text sequences are concatenated as a single set of tokens, and trained with a word-level interleaving method using a small automatically-curated speech-text parallel corpus. SPIRIT-LM comes in two versions: a BASE version that uses speech semantic units and an EXPRESSIVE version that models expressivity using pitch and style units in addition to the semantic units. For both versions, the text is encoded with subword BPE tokens. The resulting model displays both the semantic abilities of text models and the expressive abilities of speech models. Additionally, we demonstrate that SPIRIT-LM is able to learn new tasks in a few-shot fashion across modalities (i.e. ASR, TTS, Speech Classification).

SpiRit-LM: 音声と言語を交互に処理する言語モデル

SpiRit-LM: Interleaved Spoken and Written Language Model

要旨

Support