Que savent les modèles de parole auto-supervisés sur le néerlandais ? Analyse des avantages du pré-entraînement spécifique à la langue
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
June 1, 2025
Auteurs: Marianne de Heer Kloots, Hosein Mohebbi, Charlotte Pouw, Gaofei Shen, Willem Zuidema, Martijn Bentum
cs.AI
Résumé
Dans quelle mesure les représentations de la parole apprises par des modèles auto-supervisés sont-elles spécifiques à une langue ? Les travaux existants ont montré qu'une gamme de caractéristiques linguistiques peut être décodée avec succès à partir de modèles end-to-end entraînés uniquement sur des enregistrements audio. Cependant, il est moins clair dans quelle mesure le pré-entraînement sur des langues spécifiques améliore les informations linguistiques propres à ces langues. Ici, nous testons l'encodage des informations phonétiques et lexicales du néerlandais dans les représentations internes des modèles Wav2Vec2 auto-supervisés. Un pré-entraînement exclusivement sur le néerlandais améliore la représentation des caractéristiques linguistiques du néerlandais par rapport à un pré-entraînement sur des quantités similaires d'anglais ou des quantités plus importantes de données multilingues. Cet avantage spécifique à la langue est bien détecté par des sondes de clustering ou de classification entraînées, et partiellement observable à l'aide de métriques zero-shot. De plus, le bénéfice spécifique à la langue sur l'encodage des caractéristiques linguistiques correspond à la performance en aval sur la reconnaissance automatique de la parole.
English
How language-specific are speech representations learned by self-supervised
models? Existing work has shown that a range of linguistic features can be
successfully decoded from end-to-end models trained only on speech recordings.
However, it's less clear to what extent pre-training on specific languages
improves language-specific linguistic information. Here we test the encoding of
Dutch phonetic and lexical information in internal representations of
self-supervised Wav2Vec2 models. Pre-training exclusively on Dutch improves the
representation of Dutch linguistic features as compared to pre-training on
similar amounts of English or larger amounts of multilingual data. This
language-specific advantage is well-detected by trained clustering or
classification probes, and partially observable using zero-shot metrics.
Furthermore, the language-specific benefit on linguistic feature encoding
aligns with downstream performance on Automatic Speech Recognition.