Verschachtelte Sprachmodelle für gesprochene Sprache arbeiten latent im Text.

Zusammenfassung

Sprachmodelle (SLMs) wurden umfassend untersucht, wobei das gängige Paradigma Textdaten und vorab trainierte Textmodelle einbezieht. Ein führender Ansatz ist die Sprach-Text-Verschachtelung, bei der Modelle über Sequenzen trainiert werden, die sowohl Sprach- als auch Texttokens enthalten, um selbst reine Sprachfähigkeiten zu verbessern. Dennoch bleibt unklar, wie diese beiden Modalitäten im latenten Raum des Modells interagieren. In dieser Arbeit analysieren wir verschachtelte Sprach-Text-Modelle aus verschiedenen Modellfamilien und -größen durch die Linse der Logit-Werte (Logit Lens), um diese Einsicht zu gewinnen. Wir decken auf, dass diese Modelle eine implizite Transkriptionsphase durchlaufen, in der das Texttoken des gesprochenen Wortes in Zwischenschichten dekodierbar wird, obwohl sie nicht für die Spracherkennung trainiert wurden. Die Transkription des Wortes erscheint bei bis zu 77 % der Daten als eines der Top-Kandidatenwörter. Im Anschluss an diese Phase prognostizieren die Modelle das nächste Wort im Textraum, bevor sie zurück in den Sprachbereich transformieren. Schließlich analysieren wir die Rolle der Verschachtelungsdaten und der Initialisierung aus Textmodellen bei der Auslösung dieses Verhaltens sowie dessen Korrelation mit Fähigkeiten im Bereich des gesprochenen Wissens. Unsere Analyse beleuchtet die internen Mechanismen, die der Beziehung zwischen Sprach- und Textmodalitäten zugrunde liegen, und könnte die Optimierung von SLMs beeinflussen.

English

Speech language models (SLMs) have been extensively studied, with the common paradigm incorporating text data and pre-trained text LMs. A leading approach is speech-text interleaving in which models are trained over sequences containing both speech and text tokens, aiming to boost even speech-only capabilities. Yet the way these two modalities interact in the model latent space remains unclear. In this work, we analyze interleaved speech-text LMs from different model families and sizes through the scope of the logit lens to provide such insight. We reveal that these models go through an implicit transcription phase in which the text token of the spoken word becomes decodable in intermediate layers, despite not being trained for speech recognition. The transcription of the word appears as one of the top candidate words for as much as 77\% of the data. Following this stage, the models proceed to predict the next word in the text space before transforming back to the speech domain. We finally analyze the role of interleaving data, and initializing from text LMs in eliciting this behavior, as well as seeing how this correlates with spoken knowledge abilities. Our analysis sheds light on the internal mechanisms underlying the relationship between speech and text modalities and could shape SLM optimization.