Modelo de Lenguaje Puede Escuchar Mientras Habla

Language Model Can Listen While Speaking

August 5, 2024

Autores: Ziyang Ma, Yakun Song, Chenpeng Du, Jian Cong, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Resumen

El diálogo sirve como la forma más natural de interacción humano-computadora (HCI). Los avances recientes en modelos de lenguaje hablado (SLM) han mejorado significativamente la IA conversacional basada en el habla. Sin embargo, estos modelos están limitados a conversaciones por turnos, careciendo de la capacidad de interactuar con humanos en escenarios hablados en tiempo real, por ejemplo, al ser interrumpidos cuando el contenido generado no es satisfactorio. Para abordar estas limitaciones, exploramos el modelado de dúplex completo (FDM) en modelos interactivos de lenguaje hablado (iSLM), centrándonos en mejorar la interacción en tiempo real y, más explícitamente, explorando la capacidad esencial de interrupción. Presentamos un diseño de modelo novedoso, denominado modelo de lenguaje escucha-mientras-habla (LSLM), un sistema de extremo a extremo equipado con canales de escucha y habla. Nuestro LSLM emplea un decodificador basado en tokens TTS para la generación de habla y un codificador de aprendizaje auto-supervisado en streaming (SSL) para la entrada de audio en tiempo real. LSLM fusiona ambos canales para la generación autoregresiva y detecta los turnos en tiempo real. Se exploran tres estrategias de fusión: fusión temprana, fusión intermedia y fusión tardía, siendo la fusión intermedia la que logra un equilibrio óptimo entre la generación de habla y la interacción en tiempo real. Dos configuraciones experimentales, FDM basado en comandos y FDM basado en voz, demuestran la robustez de LSLM al ruido y la sensibilidad a instrucciones diversas. Nuestros resultados destacan la capacidad de LSLM para lograr comunicación dúplex con un impacto mínimo en los sistemas existentes. Este estudio tiene como objetivo avanzar en el desarrollo de sistemas de diálogo de habla interactiva, mejorando su aplicabilidad en contextos del mundo real.

English

Dialogue serves as the most natural manner of human-computer interaction (HCI). Recent advancements in speech language models (SLM) have significantly enhanced speech-based conversational AI. However, these models are limited to turn-based conversation, lacking the ability to interact with humans in real-time spoken scenarios, for example, being interrupted when the generated content is not satisfactory. To address these limitations, we explore full duplex modeling (FDM) in interactive speech language models (iSLM), focusing on enhancing real-time interaction and, more explicitly, exploring the quintessential ability of interruption. We introduce a novel model design, namely listening-while-speaking language model (LSLM), an end-to-end system equipped with both listening and speaking channels. Our LSLM employs a token-based decoder-only TTS for speech generation and a streaming self-supervised learning (SSL) encoder for real-time audio input. LSLM fuses both channels for autoregressive generation and detects turn-taking in real time. Three fusion strategies -- early fusion, middle fusion, and late fusion -- are explored, with middle fusion achieving an optimal balance between speech generation and real-time interaction. Two experimental settings, command-based FDM and voice-based FDM, demonstrate LSLM's robustness to noise and sensitivity to diverse instructions. Our results highlight LSLM's capability to achieve duplex communication with minimal impact on existing systems. This study aims to advance the development of interactive speech dialogue systems, enhancing their applicability in real-world contexts.