Interprétation et guidage d'un modèle de langage de synthèse vocale avec des autoencodeurs parcimonieux

Résumé

Les modèles de langage servent de plus en plus de base aux systèmes de synthèse vocale (text-to-speech, TTS), mais nous comprenons encore mal les représentations qu'ils construisent lorsque le texte et les jetons vocaux générés partagent un seul flux résiduel. Nous entraînons des autoencodeurs parcimonieux BatchTopK sur le backbone LM de CosyVoice3 et introduisons un pipeline d'auto-interprétation sensible à la modalité qui étiquette chaque caractéristique selon son contexte de déclenchement — contexte de préfixe textuel, clips vocaux d'une seconde, ou les deux. Les caractéristiques ainsi obtenues sont interprétables, couvrant les phonèmes, les rires, les invites d'accent et le genre du locuteur. Le pilotage dans l'espace latent de l'autoencodeur parcimonieux (SAE) montre que ces caractéristiques sont causales et non simplement descriptives : des interventions ciblées augmentent la probabilité de rire de 0,02 à 0,79, inversent le genre perçu du locuteur et contrôlent le débit de parole tout en préservant le contenu parlé. Les caractéristiques SAE servent donc à la fois d'objets d'interprétabilité et de directions de contrôle pour la synthèse TTS.

English

Language models increasingly serve as the backbone of text-to-speech (TTS) systems, yet we understand little about the representations they build when text and generated speech tokens share a single residual stream. We train BatchTopK sparse autoencoders on the LM backbone of CosyVoice3 and introduce a modality-aware auto-interp pipeline that labels each feature from where it fires-text-prefix context, 1-second speech clips, or both. The recovered features are interpretable, spanning phonemes, laughter, accent prompts and speaker gender. Steering through the SAE latent space shows these features are causal rather than merely descriptive: targeted interventions raise laughter probability from 0.02 to 0.79, flip perceived speaker gender, and control speech rate while preserving spoken content. SAE features thus serve both as interpretability objects and as control directions for TTS synthesis.