FunAudioLLM: Modelos Fundamentales de Comprensión y Generación de Voz para Interacción Natural entre Humanos y LLMs

FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs

July 4, 2024

Autores: Tongyi SpeechTeam

cs.AI

Resumen

Este informe presenta FunAudioLLM, una familia de modelos diseñada para mejorar las interacciones de voz naturales entre humanos y grandes modelos de lenguaje (LLMs). En su núcleo se encuentran dos modelos innovadores: SenseVoice, que se encarga del reconocimiento de voz multilingüe, reconocimiento de emociones y detección de eventos de audio; y CosyVoice, que facilita la generación de voz natural con control sobre múltiples idiomas, timbre, estilo de habla e identidad del hablante. SenseVoice-Small ofrece un ASR excepcionalmente de baja latencia para 5 idiomas, y SenseVoice-Large admite un ASR de alta precisión para más de 50 idiomas, mientras que CosyVoice sobresale en la generación de voz multilingüe, aprendizaje en contexto sin datos previos, clonación de voz entre idiomas y capacidades de seguimiento de instrucciones. Los modelos relacionados con SenseVoice y CosyVoice se han hecho de código abierto en Modelscope y Huggingface, junto con los códigos correspondientes de entrenamiento, inferencia y ajuste fino publicados en GitHub. Al integrar estos modelos con LLMs, FunAudioLLM permite aplicaciones como la traducción de voz a voz, chat de voz emocional, podcasts interactivos y narración expresiva de audiolibros, ampliando así los límites de la tecnología de interacción por voz. Las demostraciones están disponibles en https://fun-audio-llm.github.io, y el código se puede acceder en https://github.com/FunAudioLLM.

English

This report introduces FunAudioLLM, a model family designed to enhance natural voice interactions between humans and large language models (LLMs). At its core are two innovative models: SenseVoice, which handles multilingual speech recognition, emotion recognition, and audio event detection; and CosyVoice, which facilitates natural speech generation with control over multiple languages, timbre, speaking style, and speaker identity. SenseVoice-Small delivers exceptionally low-latency ASR for 5 languages, and SenseVoice-Large supports high-precision ASR for over 50 languages, while CosyVoice excels in multi-lingual voice generation, zero-shot in-context learning, cross-lingual voice cloning, and instruction-following capabilities. The models related to SenseVoice and CosyVoice have been open-sourced on Modelscope and Huggingface, along with the corresponding training, inference, and fine-tuning codes released on GitHub. By integrating these models with LLMs, FunAudioLLM enables applications such as speech-to-speech translation, emotional voice chat, interactive podcasts, and expressive audiobook narration, thereby pushing the boundaries of voice interaction technology. Demos are available at https://fun-audio-llm.github.io, and the code can be accessed at https://github.com/FunAudioLLM.