Sprachmodell kann zuhören während es spricht.

Language Model Can Listen While Speaking

August 5, 2024

Autoren: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Zusammenfassung

Der Dialog dient als die natürlichste Art der Mensch-Computer-Interaktion (HCI). Die jüngsten Fortschritte bei Sprachmodellen haben die sprachbasierte konversationelle KI erheblich verbessert. Diese Modelle sind jedoch auf dialogbasierte Konversation beschränkt und können nicht in Echtzeit mit Menschen interagieren, beispielsweise wenn der generierte Inhalt nicht zufriedenstellend ist. Um diese Einschränkungen zu überwinden, untersuchen wir das vollduplexe Modellieren (FDM) in interaktiven Sprachmodellen (iSLM), wobei der Schwerpunkt auf der Verbesserung der Echtzeitinteraktion liegt und insbesondere die wesentliche Fähigkeit der Unterbrechung erforscht wird. Wir stellen ein neuartiges Modell vor, das sogenannte Zuhören-während-Sprechens-Sprachmodell (LSLM), ein End-to-End-System mit sowohl Zuhör- als auch Sprechkanälen. Unser LSLM verwendet einen tokenbasierten Decoder-only Text-to-Speech (TTS) für die Spracherzeugung und einen Streaming-Selbstüberwachungs-Lernencoder für Echtzeit-Audioeingabe. LSLM fusioniert beide Kanäle für die autoregressive Generierung und erkennt das Wechseln der Sprecher in Echtzeit. Drei Fusionsstrategien - Frühfusion, Mittelfusion und Spätfusion - werden untersucht, wobei die Mittelfusion ein optimales Gleichgewicht zwischen Sprachgenerierung und Echtzeitinteraktion erreicht. Zwei experimentelle Einstellungen, befehlsbasiertes FDM und sprachbasiertes FDM, zeigen die Robustheit des LSLM gegenüber Geräuschen und die Empfindlichkeit gegenüber verschiedenen Anweisungen. Unsere Ergebnisse heben die Fähigkeit des LSLM hervor, Duplexkommunikation mit minimalem Einfluss auf bestehende Systeme zu erreichen. Diese Studie zielt darauf ab, die Entwicklung interaktiver Sprachdialogsysteme voranzutreiben und ihre Anwendbarkeit in realen Kontexten zu verbessern.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.