StreamVoice: Потоковое контекстно-зависимое языковое моделирование для реального времени с нулевым обучением в преобразовании голоса

StreamVoice: Streamable Context-Aware Language Modeling for Real-time Zero-Shot Voice Conversion

January 19, 2024

Авторы: Zhichao Wang, Yuanzhe Chen, Xinsheng Wang, Zhuo Chen, Lei Xie, Yuping Wang, Yuxuan Wang

cs.AI

Аннотация

Последние достижения в области языковых моделей (LM) продемонстрировали впечатляющую производительность в задаче преобразования голоса (VC) с нулевым обучением. Однако существующие модели VC на основе LM обычно применяют оффлайн-преобразование от семантики источника к акустическим характеристикам, что требует полного исходного аудио и ограничивает их использование в реальном времени. В данной статье мы представляем StreamVoice — новую потоковую модель на основе LM для VC с нулевым обучением, которая обеспечивает преобразование в реальном времени с использованием произвольных речевых подсказок и исходного аудио. В частности, для реализации потоковой обработки StreamVoice использует полностью причинно-следственную контекстно-зависимую LM с временно-независимым акустическим предсказателем, попеременно обрабатывая семантические и акустические характеристики на каждом шаге авторегрессии, что устраняет зависимость от полного исходного аудио. Чтобы минимизировать возможное снижение производительности из-за неполного контекста при потоковой обработке, мы улучшаем контекстную осведомленность LM с помощью двух стратегий: 1) предвидение контекста с использованием учителя, где учитель обобщает текущий и будущий семантический контекст во время обучения, чтобы направлять прогнозирование модели для отсутствующего контекста; 2) стратегия семантического маскирования, которая способствует предсказанию акустических характеристик на основе предшествующих искаженных семантических и акустических данных, улучшая способность к обучению контексту. Важно отметить, что StreamVoice является первой потоковой моделью VC с нулевым обучением на основе LM, которая не требует предварительного просмотра будущего контекста. Экспериментальные результаты подтверждают способность StreamVoice к потоковому преобразованию при сохранении производительности, сопоставимой с не потоковыми системами VC.

English

Recent language model (LM) advancements have showcased impressive zero-shot voice conversion (VC) performance. However, existing LM-based VC models usually apply offline conversion from source semantics to acoustic features, demanding the complete source speech, and limiting their deployment to real-time applications. In this paper, we introduce StreamVoice, a novel streaming LM-based model for zero-shot VC, facilitating real-time conversion given arbitrary speaker prompts and source speech. Specifically, to enable streaming capability, StreamVoice employs a fully causal context-aware LM with a temporal-independent acoustic predictor, while alternately processing semantic and acoustic features at each time step of autoregression which eliminates the dependence on complete source speech. To address the potential performance degradation from the incomplete context in streaming processing, we enhance the context-awareness of the LM through two strategies: 1) teacher-guided context foresight, using a teacher model to summarize the present and future semantic context during training to guide the model's forecasting for missing context; 2) semantic masking strategy, promoting acoustic prediction from preceding corrupted semantic and acoustic input, enhancing context-learning ability. Notably, StreamVoice is the first LM-based streaming zero-shot VC model without any future look-ahead. Experimental results demonstrate StreamVoice's streaming conversion capability while maintaining zero-shot performance comparable to non-streaming VC systems.