ChatPaper.aiChatPaper

Что знают самоконтролируемые модели обработки речи о нидерландском языке? Анализ преимуществ языково-специфического предобучения

What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training

June 1, 2025
Авторы: Marianne de Heer Kloots, Hosein Mohebbi, Charlotte Pouw, Gaofei Shen, Willem Zuidema, Martijn Bentum
cs.AI

Аннотация

Насколько специфичны для языка речевые представления, изучаемые моделями с самоконтролем? Существующие исследования показали, что из моделей, обученных исключительно на речевых записях, можно успешно декодировать широкий спектр лингвистических признаков. Однако менее ясно, в какой степени предварительное обучение на конкретных языках улучшает языково-специфическую лингвистическую информацию. В данной работе мы исследуем кодирование голландской фонетической и лексической информации во внутренних представлениях моделей Wav2Vec2 с самоконтролем. Предварительное обучение исключительно на голландском языке улучшает представление голландских лингвистических признаков по сравнению с предварительным обучением на аналогичных объемах английского или больших объемах многоязычных данных. Это языково-специфическое преимущество хорошо обнаруживается с помощью обученных кластеризационных или классификационных проб и частично наблюдается с использованием метрик zero-shot. Кроме того, языково-специфическое преимущество в кодировании лингвистических признаков согласуется с производительностью на задачах автоматического распознавания речи.
English
How language-specific are speech representations learned by self-supervised models? Existing work has shown that a range of linguistic features can be successfully decoded from end-to-end models trained only on speech recordings. However, it's less clear to what extent pre-training on specific languages improves language-specific linguistic information. Here we test the encoding of Dutch phonetic and lexical information in internal representations of self-supervised Wav2Vec2 models. Pre-training exclusively on Dutch improves the representation of Dutch linguistic features as compared to pre-training on similar amounts of English or larger amounts of multilingual data. This language-specific advantage is well-detected by trained clustering or classification probes, and partially observable using zero-shot metrics. Furthermore, the language-specific benefit on linguistic feature encoding aligns with downstream performance on Automatic Speech Recognition.
PDF12June 6, 2025