Phonsegmentierung und -erkennung durch phonologische Aktivierungsabbildung

Zusammenfassung

Phonsegmentierung und -erkennung sind von Natur aus miteinander verbundene Aufgaben, dennoch werden sie in modernen Ansätzen typischerweise getrennt modelliert. Wir argumentieren, dass die phonetische Struktur bereits in den Repräsentationen selbstüberwachter Sprachmodelle (S3Ms) latent vorhanden ist und man sie nur lenken muss, um beide Aufgaben zu lösen. Wir nutzen S3M-basiertes Phonologisches Aktivierungs-Mapping (SPAM), das jeden S3M-Repräsentations-Frame auf einen Vektor phonologischer Merkmalsaktivierungen wie Stimmhaftigkeit und Nasalität abbildet. Aufbauend auf SPAM führen wir zwei einfache, aber effektive, leichte, gradientenabstiegsfreie Vorhersageköpfe ein: einen Erkennungskopf und einen Segmentierungskopf. Unsere Methode benötigt weniger als eine Minute phonetischer Transkriptionen und generalisiert auf während des Trainings unbekannte Phone. Über eine Vielzahl von Datensätzen hinweg erzielt unser Ansatz eine starke Segmentierungs- und Erkennungsleistung.

English

Phone segmentation and recognition are inherently related tasks, yet modern approaches typically model them separately. We argue that phonetic structure is already latent in the representations of self-supervised speech models (S3Ms), and one only needs to steer them to solve both tasks. We leverage S3M-based Phonological Activation Mapping (SPAM), which maps each S3M representation frame to a vector of phonological feature activations, such as voicing and nasality. On top of SPAM, we introduce two simple but effective lightweight, gradient-descent-free prediction heads: a recognition head and a segmentation head. Our method requires less than a minute of phonetic transcriptions, and generalizes to unseen phones during training. Across a diverse range of datasets, our approach attains strong segmentation and recognition performance.