Le modèle de langage peut écouter tout en parlant.

Language Model Can Listen While Speaking

August 5, 2024

Auteurs: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Résumé

Le dialogue constitue la forme la plus naturelle d'interaction homme-machine (IHM). Les récents progrès des modèles de langage vocal (SLM) ont considérablement amélioré l'intelligence conversationnelle basée sur la parole. Cependant, ces modèles se limitent à des conversations alternées, sans capacité à interagir avec les humains en temps réel dans des scénarios parlés, par exemple en étant interrompus lorsque le contenu généré n'est pas satisfaisant. Pour surmonter ces limites, nous explorons la modélisation en duplex intégral (FDM) dans les modèles de langage vocal interactifs (iSLM), en nous concentrant sur l'amélioration de l'interaction en temps réel et, plus explicitement, sur l'exploration de la capacité essentielle d'interruption. Nous introduisons une conception de modèle novatrice, appelée modèle de langage écoute-parole (LSLM), un système end-to-end équipé de canaux d'écoute et de parole. Notre LSLM utilise un décodeur TTS basé sur les tokens pour la génération de parole et un encodeur d'apprentissage auto-supervisé (SSL) en streaming pour l'entrée audio en temps réel. Le LSLM fusionne les deux canaux pour une génération autoregressive et détecte les prises de parole en temps réel. Trois stratégies de fusion -- fusion précoce, fusion intermédiaire et fusion tardive -- sont explorées, la fusion intermédiaire offrant un équilibre optimal entre génération de parole et interaction en temps réel. Deux configurations expérimentales, FDM basé sur des commandes et FDM basé sur la voix, démontrent la robustesse du LSLM face au bruit et sa sensibilité à des instructions variées. Nos résultats mettent en évidence la capacité du LSLM à réaliser une communication duplex avec un impact minimal sur les systèmes existants. Cette étude vise à faire progresser le développement des systèmes de dialogue vocal interactifs, en améliorant leur applicabilité dans des contextes réels.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.