SpiRit-LM: Чередующаяся модель языка для устной и письменной речи
SpiRit-LM: Interleaved Spoken and Written Language Model
February 8, 2024
Авторы: Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Gabriel Synnaeve, Juan Pino, Benoit Sagot, Emmanuel Dupoux
cs.AI
Аннотация
Мы представляем SPIRIT-LM, базовую мультимодальную языковую модель, которая свободно комбинирует текст и речь. Наша модель основана на предобученной текстовой языковой модели, которую мы расширяем для работы с речевой модальностью путем непрерывного обучения на текстовых и речевых единицах. Последовательности речи и текста объединяются в единый набор токенов и обучаются с использованием метода чередования на уровне слов на основе небольшого автоматически созданного параллельного корпуса "речь-текст". SPIRIT-LM представлена в двух версиях: BASE-версия, использующая семантические единицы речи, и EXPRESSIVE-версия, которая моделирует выразительность с помощью единиц высоты тона и стиля в дополнение к семантическим единицам. В обеих версиях текст кодируется с использованием субсловных BPE-токенов. Полученная модель демонстрирует как семантические способности текстовых моделей, так и выразительные возможности речевых моделей. Кроме того, мы показываем, что SPIRIT-LM способна обучаться новым задачам в режиме few-shot (например, ASR, TTS, классификация речи) с учетом различных модальностей.
English
We introduce SPIRIT-LM, a foundation multimodal language model that freely
mixes text and speech. Our model is based on a pretrained text language model
that we extend to the speech modality by continuously training it on text and
speech units. Speech and text sequences are concatenated as a single set of
tokens, and trained with a word-level interleaving method using a small
automatically-curated speech-text parallel corpus. SPIRIT-LM comes in two
versions: a BASE version that uses speech semantic units and an EXPRESSIVE
version that models expressivity using pitch and style units in addition to the
semantic units. For both versions, the text is encoded with subword BPE tokens.
The resulting model displays both the semantic abilities of text models and the
expressive abilities of speech models. Additionally, we demonstrate that
SPIRIT-LM is able to learn new tasks in a few-shot fashion across modalities
(i.e. ASR, TTS, Speech Classification).