Нулевая кросс-язычная передача голоса для синтеза речи.

Zero-shot Cross-lingual Voice Transfer for TTS

September 20, 2024

Авторы: Fadi Biadsy, Youzheng Chen, Isaac Elias, Kyle Kastner, Gary Wang, Andrew Rosenberg, Bhuvana Ramabhadran

cs.AI

Аннотация

В данной статье мы представляем модуль нулевой передачи голоса (Voice Transfer, VT), который может быть легко интегрирован в многоязычную систему текст в речь (Text-to-speech, TTS) для передачи голоса человека на разных языках. Наш предложенный модуль VT включает в себя кодировщик-спикер, обрабатывающий эталонную речь, узкое место и резидуальные адаптеры, соединенные с существующими слоями TTS. Мы сравниваем производительность различных конфигураций этих компонентов и сообщаем о среднем балле мнения (Mean Opinion Score, MOS) и Сходстве Спикера на разных языках. Используя одну эталонную речь на английском языке на каждого спикера, мы достигаем среднего балла сходства голоса на уровне 73% на девять целевых языках. Вокальные характеристики значительно влияют на формирование и восприятие индивидуальной идентичности. Потеря голоса из-за физических или неврологических состояний может вызвать глубокое чувство утраты, влияя на основную идентичность человека. В качестве кейс-стади мы демонстрируем, что наш подход может не только передавать типичную речь, но также восстанавливать голоса людей с дисартрией, даже когда доступны только нетипичные образцы речи - ценное средство для тех, кто никогда не имел типичной речи или не записывал свой голос. Типичные аудиообразцы на разных языках, а также видео, демонстрирующие восстановление голоса для говорящих с дисартрией, доступны здесь (google.github.io/tacotron/publications/zero_shot_voice_transfer).

English

In this paper, we introduce a zero-shot Voice Transfer (VT) module that can be seamlessly integrated into a multi-lingual Text-to-speech (TTS) system to transfer an individual's voice across languages. Our proposed VT module comprises a speaker-encoder that processes reference speech, a bottleneck layer, and residual adapters, connected to preexisting TTS layers. We compare the performance of various configurations of these components and report Mean Opinion Score (MOS) and Speaker Similarity across languages. Using a single English reference speech per speaker, we achieve an average voice transfer similarity score of 73% across nine target languages. Vocal characteristics contribute significantly to the construction and perception of individual identity. The loss of one's voice, due to physical or neurological conditions, can lead to a profound sense of loss, impacting one's core identity. As a case study, we demonstrate that our approach can not only transfer typical speech but also restore the voices of individuals with dysarthria, even when only atypical speech samples are available - a valuable utility for those who have never had typical speech or banked their voice. Cross-lingual typical audio samples, plus videos demonstrating voice restoration for dysarthric speakers are available here (google.github.io/tacotron/publications/zero_shot_voice_transfer).