言語モデルは話しながら聞くことができる

Language Model Can Listen While Speaking

August 5, 2024

著者: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

要旨

対話は、人間とコンピュータのインタラクション（HCI）において最も自然な形態である。近年の音声言語モデル（SLM）の進展により、音声ベースの会話型AIが大幅に向上している。しかし、これらのモデルはターンベースの会話に限定されており、生成された内容が不満足な場合に割り込まれるなど、リアルタイムの音声シナリオでの人間とのインタラクション能力を欠いている。これらの制限を解決するため、我々はインタラクティブ音声言語モデル（iSLM）における全二重モデリング（FDM）を探求し、リアルタイムインタラクションの強化、特に割り込みの本質的な能力に焦点を当てる。我々は、リスニングとスピーキングの両方のチャネルを備えたエンドツーエンドシステムである、リスニング・ホワイル・スピーキング言語モデル（LSLM）という新しいモデル設計を提案する。LSLMは、音声生成のためのトークンベースのデコーダのみのTTSと、リアルタイム音声入力のためのストリーミング自己教師あり学習（SSL）エンコーダを採用している。LSLMは両チャネルを融合して自己回帰生成を行い、リアルタイムでターンテイキングを検出する。早期融合、中間融合、後期融合の3つの融合戦略を探求し、中間融合が音声生成とリアルタイムインタラクションの最適なバランスを達成した。コマンドベースのFDMと音声ベースのFDMの2つの実験設定により、LSLMのノイズに対する頑健性と多様な指示に対する感度が実証された。我々の結果は、LSLMが既存システムに最小限の影響で二重通信を実現する能力を強調している。本研究は、インタラクティブ音声対話システムの開発を進め、現実世界の文脈での適用性を高めることを目的としている。

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.