인터리브된 음성 언어 모델은 텍스트 내에서 잠재적으로 작동한다.

초록

음성 언어 모델(SLM)은 광범위하게 연구되어 왔으며, 일반적인 패러다임은 텍스트 데이터와 사전 학습된 텍스트 언어 모델을 통합하는 것이다. 주요 접근 방식 중 하나는 음성-텍스트 인터리빙(interleaving)으로, 모델이 음성 토큰과 텍스트 토큰을 모두 포함하는 시퀀스에 대해 학습되어 음성 전용 능력까지 향상시키는 것을 목표로 한다. 그러나 이 두 양식이 모델의 잠재 공간에서 상호작용하는 방식은 여전히 불분명하다. 본 연구에서는 로짓 렌즈(logit lens)의 관점을 통해 서로 다른 모델 패밀리와 크기를 가진 인터리빙된 음성-텍스트 언어 모델을 분석하여 이러한 통찰을 제공한다. 우리는 이러한 모델들이 음성 인식용으로 학습되지 않았음에도 불구하고, 중간 계층에서 음성 단어의 텍스트 토큰이 디코딩 가능해지는 암시적 전사 단계를 거친다는 것을 밝혀냈다. 해당 단어의 전사는 데이터의 최대 77%에서 상위 후보 단어 중 하나로 나타난다. 이 단계 이후, 모델은 텍스트 공간에서 다음 단어를 예측한 후 다시 음성 도메인으로 변환한다. 마지막으로, 본 행동을 유발하는 데 있어 인터리빙 데이터와 텍스트 언어 모델로부터의 초기화의 역할을 분석하고, 이것이 음성 지식 능력과 어떻게 상관관계를 가지는지 살펴본다. 본 분석은 음성과 텍스트 양식 간의 관계를 뒷받침하는 내부 메커니즘에 대한 조명을 제공하며, SLM 최적화의 방향을 제시할 수 있다.

English

Speech language models (SLMs) have been extensively studied, with the common paradigm incorporating text data and pre-trained text LMs. A leading approach is speech-text interleaving in which models are trained over sequences containing both speech and text tokens, aiming to boost even speech-only capabilities. Yet the way these two modalities interact in the model latent space remains unclear. In this work, we analyze interleaved speech-text LMs from different model families and sizes through the scope of the logit lens to provide such insight. We reveal that these models go through an implicit transcription phase in which the text token of the spoken word becomes decodable in intermediate layers, despite not being trained for speech recognition. The transcription of the word appears as one of the top candidate words for as much as 77\% of the data. Following this stage, the models proceed to predict the next word in the text space before transforming back to the speech domain. We finally analyze the role of interleaving data, and initializing from text LMs in eliciting this behavior, as well as seeing how this correlates with spoken knowledge abilities. Our analysis sheds light on the internal mechanisms underlying the relationship between speech and text modalities and could shape SLM optimization.