Interpretando e Direcionando um Modelo de Linguagem de Texto para Fala com Autoencoders Esparsos

Resumo

Modelos de linguagem servem cada vez mais como espinha dorsal de sistemas de conversão texto-fala (TTS), mas ainda compreendemos pouco sobre as representações que constroem quando texto e tokens de fala gerada compartilham um único fluxo residual. Treinamos autoencoders esparsos BatchTopK na espinha dorsal LM do CosyVoice3 e introduzimos um pipeline de autointerpretação com consciência modal que rotula cada característica a partir de onde ela é ativada — contexto de prefixo de texto, trechos de fala de 1 segundo ou ambos. As características recuperadas são interpretáveis, abrangendo fonemas, risadas, indicações de sotaque e gênero do locutor. A navegação pelo espaço latente do SAE demonstra que essas características são causais, e não meramente descritivas: intervenções direcionadas elevam a probabilidade de riso de 0,02 para 0,79, invertem o gênero percebido do locutor e controlam a taxa de fala, preservando ao mesmo tempo o conteúdo falado. As características do SAE atuam, portanto, tanto como objetos de interpretabilidade quanto como direções de controle para a síntese de TTS.

English

Language models increasingly serve as the backbone of text-to-speech (TTS) systems, yet we understand little about the representations they build when text and generated speech tokens share a single residual stream. We train BatchTopK sparse autoencoders on the LM backbone of CosyVoice3 and introduce a modality-aware auto-interp pipeline that labels each feature from where it fires-text-prefix context, 1-second speech clips, or both. The recovered features are interpretable, spanning phonemes, laughter, accent prompts and speaker gender. Steering through the SAE latent space shows these features are causal rather than merely descriptive: targeted interventions raise laughter probability from 0.02 to 0.79, flip perceived speaker gender, and control speech rate while preserving spoken content. SAE features thus serve both as interpretability objects and as control directions for TTS synthesis.