Sprecher-entkoppelte chunkweise Regression für silbische Tokenisierung

Zusammenfassung

Unüberwachte silbische Tokenisierung zielt darauf ab, diskrete silbische Token zu lernen, die latente, mit dem sprachlichen Inhalt zusammenhängende Strukturen aus roher Sprache erfassen. Neuere Methoden der silbischen Tokenisierung nutzen eine Lehrer-Schüler-Destillation des vortrainierten HuBERT, um latente Sprachframe-Repräsentationen in silbische Segmente zu organisieren. Wenn das Modell jedoch mit einem Kreuzentropie-Ziel auf Äußerungsebene trainiert wird, prognostiziert es eher die Sprecheridentität als den sprachlichen Inhalt, was die Reinheit der silbischen Token beeinträchtigt. Um dieses Problem zu lösen, schlagen wir einen sprecher-disentangled silbischen Tokenisierer vor, der sprechergestörte Studentenrepräsentationen innerhalb von Blöcken fester Länge auf saubere Lehrerziele regrediert. Experimentelle Ergebnisse zeigen, dass unsere vorgeschlagene Methode eine Spitzenleistung bei der Silbengrenzenerkennung und der Clusterung silbischer Segmente erzielt. Darüber hinaus erreicht ein auf unseren silbischen Token trainiertes Sprachmodell eine relative Verbesserung von 7% beim syntaktischen und semantischen Verständnis im Vergleich zum phonemebasierten SpiRit-LM.

English

Unsupervised syllabic tokenization aims to learn discrete syllabic tokens that capture latent linguistic content-related structure from raw speech. Recent syllabic tokenization methods employ teacher-student distillation of the pretrained HuBERT to organize latent speech frame representations into syllabic segments. However, when trained with an utterance-level cross-entropy objective, the model predicts speaker identity rather than linguistic content, thereby compromising the purity of syllabic tokens. To address this problem, we propose a speaker-disentangled syllabic tokenizer that regresses speaker-perturbed student representations toward clean teacher targets within fixed-length chunks. Experimental results demonstrate that our proposed method achieves state-of-the-art performance in syllable boundary detection and syllabic segment clustering. Moreover, a speech language model trained on our syllabic tokens achieves a 7% relative improvement in syntactic and semantic understanding over the phone-level SpiRit-LM.