Modelos de Lenguaje de Habla Entrelazados Trabajan Latentemente en Texto

Resumen

Los modelos de lenguaje del habla (SLMs) han sido ampliamente estudiados, con el paradigma común que incorpora datos de texto y modelos de lenguaje de texto preentrenados. Un enfoque destacado es el intercalado habla-texto, en el que los modelos se entrenan con secuencias que contienen tanto tokens de habla como de texto, con el objetivo de potenciar incluso las capacidades exclusivas del habla. Sin embargo, la forma en que estas dos modalidades interactúan en el espacio latente del modelo sigue sin estar clara. En este trabajo, analizamos SLMs intercalados habla-texto de diferentes familias y tamaños mediante el alcance de la lente de logits para proporcionar dicha comprensión. Revelamos que estos modelos atraviesan una fase de transcripción implícita en la que el token de texto de la palabra hablada se vuelve decodificable en capas intermedias, a pesar de no haber sido entrenados para reconocimiento del habla. La transcripción de la palabra aparece como una de las principales palabras candidatas hasta en un 77% de los datos. Tras esta etapa, los modelos proceden a predecir la siguiente palabra en el espacio de texto antes de transformarse de vuelta al dominio del habla. Finalmente, analizamos el papel de los datos de intercalado y la inicialización a partir de modelos de lenguaje de texto en la elicitación de este comportamiento, así como cómo esto se correlaciona con las habilidades de conocimiento hablado. Nuestro análisis arroja luz sobre los mecanismos internos que subyacen a la relación entre las modalidades de habla y texto, y podría moldear la optimización de los SLMs.

English

Speech language models (SLMs) have been extensively studied, with the common paradigm incorporating text data and pre-trained text LMs. A leading approach is speech-text interleaving in which models are trained over sequences containing both speech and text tokens, aiming to boost even speech-only capabilities. Yet the way these two modalities interact in the model latent space remains unclear. In this work, we analyze interleaved speech-text LMs from different model families and sizes through the scope of the logit lens to provide such insight. We reveal that these models go through an implicit transcription phase in which the text token of the spoken word becomes decodable in intermediate layers, despite not being trained for speech recognition. The transcription of the word appears as one of the top candidate words for as much as 77\% of the data. Following this stage, the models proceed to predict the next word in the text space before transforming back to the speech domain. We finally analyze the role of interleaving data, and initializing from text LMs in eliciting this behavior, as well as seeing how this correlates with spoken knowledge abilities. Our analysis sheds light on the internal mechanisms underlying the relationship between speech and text modalities and could shape SLM optimization.