Языковая модель может слушать во время речи.

Language Model Can Listen While Speaking

August 5, 2024

Авторы: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Аннотация

Диалог служит наиболее естественным способом взаимодействия человека с компьютером (HCI). Недавние достижения в области моделей речевого языка (SLM) значительно улучшили речевые разговорные ИИ. Однако эти модели ограничены пошаговым разговором и не имеют возможности взаимодействовать с людьми в реальном времени в разговорных ситуациях, например, когда генерируемое содержание не удовлетворительно и происходит прерывание. Для решения этих ограничений мы исследуем моделирование полного дуплекса (FDM) в интерактивных моделях речевого языка (iSLM), сосредотачиваясь на улучшении взаимодействия в реальном времени и, более конкретно, на исследовании основной способности прерывания. Мы представляем новую модель дизайна, а именно модель языка "слушать-в-то время как-говорить" (LSLM), систему от начала до конца, оснащенную как каналами прослушивания, так и говорения. Наша LSLM использует декодер только для TTS на основе токенов для генерации речи и потоковый кодировщик самообучения (SSL) для ввода аудио в реальном времени. LSLM объединяет оба канала для авторегрессивной генерации и обнаружения смены реплик в реальном времени. Исследуются три стратегии объединения - раннее объединение, среднее объединение и позднее объединение, причем среднее объединение достигает оптимального баланса между генерацией речи и взаимодействием в реальном времени. Два экспериментальных сценария, основанных на командах FDM и голосовых FDM, демонстрируют устойчивость LSLM к шуму и чувствительность к разнообразным инструкциям. Наши результаты подчеркивают способность LSLM достигать дуплексного общения с минимальным воздействием на существующие системы. Цель данного исследования - продвижение развития интерактивных систем диалога на основе речи, улучшая их применимость в реальных ситуациях.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.