Hoja de ruta hacia la comprensión del habla superhumana utilizando Modelos de Lenguaje Grandes.

Roadmap towards Superhuman Speech Understanding using Large Language Models

October 17, 2024

Autores: Fan Bu, Yuhao Zhang, Xidong Wang, Benyou Wang, Qun Liu, Haizhou Li

cs.AI

Resumen

El éxito de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) ha motivado esfuerzos para integrar datos de habla y audio, con el objetivo de crear modelos base generales capaces de procesar tanto entradas textuales como no textuales. Avances recientes, como GPT-4o, resaltan el potencial de los LLMs de habla de extremo a extremo, que preservan información no semántica y conocimiento del mundo para una comprensión más profunda del habla. Para guiar el desarrollo de LLMs de habla, proponemos una hoja de ruta de cinco niveles, que va desde el reconocimiento automático de habla (ASR, por sus siglas en inglés) básico hasta modelos superhumanos avanzados capaces de integrar información no semántica con conocimiento acústico abstracto para tareas complejas. Además, diseñamos un punto de referencia, el Benchmark SAGI, que estandariza aspectos críticos en varias tareas en estos cinco niveles, revelando desafíos en el uso de conocimiento acústico abstracto y la completitud de la capacidad. Nuestros hallazgos revelan brechas en el manejo de señales paralingüísticas y conocimiento acústico abstracto, y ofrecemos direcciones futuras. Este artículo esboza una hoja de ruta para avanzar en los LLMs de habla, presenta un punto de referencia para evaluación y proporciona ideas clave sobre sus limitaciones actuales y potencialidades.

English

The success of large language models (LLMs) has prompted efforts to integrate speech and audio data, aiming to create general foundation models capable of processing both textual and non-textual inputs. Recent advances, such as GPT-4o, highlight the potential for end-to-end speech LLMs, which preserves non-semantic information and world knowledge for deeper speech understanding. To guide the development of speech LLMs, we propose a five-level roadmap, ranging from basic automatic speech recognition (ASR) to advanced superhuman models capable of integrating non-semantic information with abstract acoustic knowledge for complex tasks. Moreover, we design a benchmark, SAGI Bechmark, that standardizes critical aspects across various tasks in these five levels, uncovering challenges in using abstract acoustic knowledge and completeness of capability. Our findings reveal gaps in handling paralinguistic cues and abstract acoustic knowledge, and we offer future directions. This paper outlines a roadmap for advancing speech LLMs, introduces a benchmark for evaluation, and provides key insights into their current limitations and potential.