Les modèles de langage vocal entrelacés fonctionnent de manière latente dans le texte.

Résumé

Les modèles de langage vocal (MLV) ont été largement étudiés, le paradigme courant intégrant des données textuelles et des MLV textuels pré-entraînés. Une approche dominante est l'entrelacement parole-texte, où les modèles sont entraînés sur des séquences contenant à la fois des tokens de parole et de texte, dans le but d'améliorer même les capacités purement vocales. Pourtant, la manière dont ces deux modalités interagissent dans l'espace latent du modèle reste floue. Dans ce travail, nous analysons des MLV entrelacés parole-texte de différentes familles et tailles de modèles à travers le prisme de la lentille logit afin d'apporter un tel éclairage. Nous révélons que ces modèles traversent une phase de transcription implicite au cours de laquelle le token textuel du mot parlé devient décodable dans les couches intermédiaires, bien qu'ils n'aient pas été entraînés pour la reconnaissance vocale. La transcription du mot apparaît comme l'un des mots candidats les mieux classés pour jusqu'à 77 % des données. Après cette étape, les modèles procèdent à la prédiction du mot suivant dans l'espace textuel avant de revenir au domaine de la parole. Enfin, nous analysons le rôle des données d'entrelacement et de l'initialisation à partir de MLV textuels dans la genèse de ce comportement, ainsi que la corrélation de ce dernier avec les capacités de connaissances orales. Notre analyse éclaire les mécanismes internes sous-tendant la relation entre les modalités parole et texte et pourrait orienter l'optimisation des MLV.

English

Speech language models (SLMs) have been extensively studied, with the common paradigm incorporating text data and pre-trained text LMs. A leading approach is speech-text interleaving in which models are trained over sequences containing both speech and text tokens, aiming to boost even speech-only capabilities. Yet the way these two modalities interact in the model latent space remains unclear. In this work, we analyze interleaved speech-text LMs from different model families and sizes through the scope of the logit lens to provide such insight. We reveal that these models go through an implicit transcription phase in which the text token of the spoken word becomes decodable in intermediate layers, despite not being trained for speech recognition. The transcription of the word appears as one of the top candidate words for as much as 77\% of the data. Following this stage, the models proceed to predict the next word in the text space before transforming back to the speech domain. We finally analyze the role of interleaving data, and initializing from text LMs in eliciting this behavior, as well as seeing how this correlates with spoken knowledge abilities. Our analysis sheds light on the internal mechanisms underlying the relationship between speech and text modalities and could shape SLM optimization.