Taalmodel kan luisteren terwijl het spreekt

Language Model Can Listen While Speaking

August 5, 2024

Auteurs: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Samenvatting

Dialoog vormt de meest natuurlijke manier van mens-computerinteractie (HCI). Recente vooruitgang in spraaktaalmodellen (SLM) heeft spraakgebaseerde conversatie-AI aanzienlijk verbeterd. Deze modellen zijn echter beperkt tot beurtgebaseerde gesprekken en missen het vermogen om in realtime gesproken scenario's met mensen te interacteren, bijvoorbeeld door onderbroken te worden wanneer de gegenereerde inhoud niet bevredigend is. Om deze beperkingen aan te pakken, onderzoeken we full-duplexmodellering (FDM) in interactieve spraaktaalmodellen (iSLM), met de focus op het verbeteren van realtime-interactie en, meer expliciet, het verkennen van het essentiële vermogen tot onderbreking. We introduceren een nieuw modelontwerp, namelijk het luisteren-tijdens-spreken taalmodel (LSLM), een end-to-end systeem uitgerust met zowel luister- als spreekkanalen. Ons LSLM maakt gebruik van een token-gebaseerde decoder-only TTS voor spraakgeneratie en een streaming self-supervised learning (SSL) encoder voor realtime audio-input. LSLM integreert beide kanalen voor autoregressieve generatie en detecteert beurtwisseling in realtime. Drie fusiestrategieën -- vroege fusie, middelste fusie en late fusie -- worden onderzocht, waarbij middelste fusie een optimale balans bereikt tussen spraakgeneratie en realtime-interactie. Twee experimentele opzetten, commandogebaseerde FDM en stemgebaseerde FDM, demonstreren de robuustheid van LSLM tegen ruis en de gevoeligheid voor diverse instructies. Onze resultaten benadrukken het vermogen van LSLM om duplexcommunicatie te bereiken met minimale impact op bestaande systemen. Deze studie beoogt de ontwikkeling van interactieve spraakdialoogsystemen te bevorderen, waardoor hun toepasbaarheid in real-world contexten wordt verbeterd.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.