自己教師あり音声モデルはオランダ語について何を知っているのか?言語特化型事前学習の利点を分析する
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
June 1, 2025
著者: Marianne de Heer Kloots, Hosein Mohebbi, Charlotte Pouw, Gaofei Shen, Willem Zuidema, Martijn Bentum
cs.AI
要旨
自己教師ありモデルによって学習される音声表現は、どの程度言語特異的なのか?これまでの研究では、音声記録のみを用いて訓練されたエンドツーエンドモデルから、さまざまな言語的特徴を成功裏にデコードできることが示されている。しかし、特定の言語で事前訓練を行うことが、言語特異的な言語情報をどの程度向上させるかは、あまり明確ではない。本研究では、自己教師ありWav2Vec2モデルの内部表現におけるオランダ語の音声的および語彙的情報の符号化を検証する。オランダ語のみで事前訓練を行うことで、同量の英語またはより大量の多言語データで事前訓練を行った場合と比較して、オランダ語の言語的特徴の表現が向上する。この言語特異的な利点は、訓練されたクラスタリングまたは分類プローブによってよく検出され、ゼロショット指標を用いても部分的に観察可能である。さらに、言語的特徴の符号化における言語特異的な利点は、自動音声認識における下流タスクの性能と一致している。
English
How language-specific are speech representations learned by self-supervised
models? Existing work has shown that a range of linguistic features can be
successfully decoded from end-to-end models trained only on speech recordings.
However, it's less clear to what extent pre-training on specific languages
improves language-specific linguistic information. Here we test the encoding of
Dutch phonetic and lexical information in internal representations of
self-supervised Wav2Vec2 models. Pre-training exclusively on Dutch improves the
representation of Dutch linguistic features as compared to pre-training on
similar amounts of English or larger amounts of multilingual data. This
language-specific advantage is well-detected by trained clustering or
classification probes, and partially observable using zero-shot metrics.
Furthermore, the language-specific benefit on linguistic feature encoding
aligns with downstream performance on Automatic Speech Recognition.