Het interpreteren en sturen van een tekst-naar-spraak-taalmodel met spaarse auto-encoders

Samenvatting

Taalmodellen dienen steeds vaker als ruggengraat van tekst-naar-spraak (TTS)-systemen, maar we begrijpen weinig over de representaties die ze opbouwen wanneer tekst en gegenereerde spraaktokens een enkele reststroom delen. We trainen BatchTopK-sparse auto-encoders op de LM-achtergrond van CosyVoice3 en introduceren een modaliteitsbewuste auto-interp-pijplijn die elk kenmerk labelt op basis van waar het actief wordt: tekst-voorvoegselcontext, spraakfragmenten van 1 seconde, of beide. De teruggevonden kenmerken zijn interpreteerbaar en omvatten fonemen, gelach, accentprompts en sprekersgeslacht. Sturing door de SAE-latente ruimte toont aan dat deze kenmerken causaal zijn, niet slechts beschrijvend: gerichte interventies verhogen de lachkans van 0,02 naar 0,79, keren het waargenomen sprekersgeslacht om en beheersen de spraaksnelheid terwijl de gesproken inhoud behouden blijft. SAE-kenmerken dienen dus zowel als interpreteerbaarheidsobjecten als als stuurrichtingen voor TTS-synthese.

English

Language models increasingly serve as the backbone of text-to-speech (TTS) systems, yet we understand little about the representations they build when text and generated speech tokens share a single residual stream. We train BatchTopK sparse autoencoders on the LM backbone of CosyVoice3 and introduce a modality-aware auto-interp pipeline that labels each feature from where it fires-text-prefix context, 1-second speech clips, or both. The recovered features are interpretable, spanning phonemes, laughter, accent prompts and speaker gender. Steering through the SAE latent space shows these features are causal rather than merely descriptive: targeted interventions raise laughter probability from 0.02 to 0.79, flip perceived speaker gender, and control speech rate while preserving spoken content. SAE features thus serve both as interpretability objects and as control directions for TTS synthesis.