Перемеженные речевые языковые модели латентно работают в тексте.

Аннотация

Речевые языковые модели (SLM) широко изучаются, при этом распространённая парадигма включает текстовые данные и предварительно обученные текстовые языковые модели (LM). Ведущим подходом является перемежение речи и текста, при котором модели обучаются на последовательностях, содержащих как речевые, так и текстовые токены, с целью улучшить даже сугубо речевые способности. Однако то, как эти две модальности взаимодействуют в латентном пространстве модели, остаётся неясным. В данной работе мы анализируем перемежающиеся рече-текстовые LM из различных семейств моделей и размеров через призму логит-линзы, чтобы получить такое понимание. Мы обнаруживаем, что эти модели проходят через фазу неявной транскрипции, на которой текстовый токен произнесённого слова становится декодируемым в промежуточных слоях, несмотря на то, что они не обучались для распознавания речи. Транскрипция слова появляется среди наиболее вероятных слов-кандидатов вплоть до 77% данных. После этой стадии модели переходят к предсказанию следующего слова в текстовом пространстве, а затем преобразуются обратно в речевую область. Наконец, мы анализируем роль данных перемежения и инициализации от текстовых LM в возникновении такого поведения, а также то, как это коррелирует со способностями к обработке устной речи. Наш анализ проливает свет на внутренние механизмы, лежащие в основе связи между речевой и текстовой модальностями, и может повлиять на оптимизацию SLM.

English

Speech language models (SLMs) have been extensively studied, with the common paradigm incorporating text data and pre-trained text LMs. A leading approach is speech-text interleaving in which models are trained over sequences containing both speech and text tokens, aiming to boost even speech-only capabilities. Yet the way these two modalities interact in the model latent space remains unclear. In this work, we analyze interleaved speech-text LMs from different model families and sizes through the scope of the logit lens to provide such insight. We reveal that these models go through an implicit transcription phase in which the text token of the spoken word becomes decodable in intermediate layers, despite not being trained for speech recognition. The transcription of the word appears as one of the top candidate words for as much as 77\% of the data. Following this stage, the models proceed to predict the next word in the text space before transforming back to the speech domain. We finally analyze the role of interleaving data, and initializing from text LMs in eliciting this behavior, as well as seeing how this correlates with spoken knowledge abilities. Our analysis sheds light on the internal mechanisms underlying the relationship between speech and text modalities and could shape SLM optimization.