Il Modello Linguistico Può Ascoltare Mentre Parla

Language Model Can Listen While Speaking

August 5, 2024

Autori: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Abstract

Il dialogo rappresenta la modalità più naturale di interazione uomo-computer (HCI). I recenti progressi nei modelli linguistici basati sul parlato (SLM) hanno notevolmente migliorato l'intelligenza artificiale conversazionale basata sulla voce. Tuttavia, questi modelli sono limitati a conversazioni a turni, mancando della capacità di interagire con gli esseri umani in scenari di parlato in tempo reale, ad esempio, essere interrotti quando il contenuto generato non è soddisfacente. Per affrontare queste limitazioni, esploriamo la modellazione full duplex (FDM) nei modelli linguistici interattivi basati sul parlato (iSLM), concentrandoci sul miglioramento dell'interazione in tempo reale e, più esplicitamente, esplorando l'abilità fondamentale dell'interruzione. Introduciamo un nuovo design di modello, denominato listening-while-speaking language model (LSLM), un sistema end-to-end dotato sia di canali di ascolto che di parlato. Il nostro LSLM utilizza un decoder-only TTS basato su token per la generazione del parlato e un encoder streaming self-supervised learning (SSL) per l'input audio in tempo reale. LSLM fonde entrambi i canali per la generazione autoregressiva e rileva il cambio di turno in tempo reale. Vengono esplorate tre strategie di fusione -- fusione precoce, fusione intermedia e fusione tardiva -- con la fusione intermedia che raggiunge un equilibrio ottimale tra generazione del parlato e interazione in tempo reale. Due impostazioni sperimentali, FDM basato su comandi e FDM basato sulla voce, dimostrano la robustezza di LSLM al rumore e la sensibilità a diverse istruzioni. I nostri risultati evidenziano la capacità di LSLM di raggiungere la comunicazione duplex con un impatto minimo sui sistemi esistenti. Questo studio mira a promuovere lo sviluppo di sistemi di dialogo vocale interattivi, migliorandone l'applicabilità in contesti reali.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.