SALMONN: Rumo a Capacidades Auditivas Genéricas para Modelos de Linguagem de Grande Escala

SALMONN: Towards Generic Hearing Abilities for Large Language Models

October 20, 2023

Autores: Changli Tang, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang

cs.AI

Resumo

A audição é, sem dúvida, uma habilidade essencial para agentes de inteligência artificial (IA) no mundo físico, referindo-se à percepção e compreensão de informações auditivas gerais que consistem em pelo menos três tipos de sons: fala, eventos de áudio e música. Neste artigo, propomos o SALMONN, uma rede neural aberta de fala, áudio, linguagem e música, construída pela integração de um modelo de linguagem grande (LLM) pré-treinado baseado em texto com codificadores de fala e áudio em um único modelo multimodal. O SALMONN permite que o LLM processe e compreenda diretamente entradas de áudio gerais e alcance desempenhos competitivos em várias tarefas de fala e áudio usadas no treinamento, como reconhecimento automático de fala e tradução, resposta a perguntas baseadas em informações auditivas, reconhecimento de emoções, verificação de locutor e legendagem de música e áudio, entre outras. O SALMONN também possui um conjunto diversificado de habilidades emergentes não vistas durante o treinamento, que incluem, mas não se limitam a, tradução de fala para idiomas não treinados, preenchimento de slots baseado em fala, resposta a perguntas baseadas em consultas faladas, narração de histórias baseada em áudio e raciocínio conjunto de fala e áudio, entre outras. A presença dessas habilidades emergentes intermodais é estudada, e uma nova abordagem de ajuste de ativação few-shot é proposta para ativar tais habilidades do SALMONN. Até onde sabemos, o SALMONN é o primeiro modelo desse tipo e pode ser considerado um passo em direção à IA com habilidades auditivas genéricas. Uma demonstração interativa do SALMONN está disponível em \url{https://github.com/bytedance/SALMONN}, e o código de treinamento e os checkpoints do modelo serão liberados após a aceitação.

English

Hearing is arguably an essential ability of artificial intelligence (AI) agents in the physical world, which refers to the perception and understanding of general auditory information consisting of at least three types of sounds: speech, audio events, and music. In this paper, we propose SALMONN, a speech audio language music open neural network, built by integrating a pre-trained text-based large language model (LLM) with speech and audio encoders into a single multimodal model. SALMONN enables the LLM to directly process and understand general audio inputs and achieve competitive performances on a number of speech and audio tasks used in training, such as automatic speech recognition and translation, auditory-information-based question answering, emotion recognition, speaker verification, and music and audio captioning etc. SALMONN also has a diverse set of emergent abilities unseen in the training, which includes but is not limited to speech translation to untrained languages, speech-based slot filling, spoken-query-based question answering, audio-based storytelling, and speech audio co-reasoning etc. The presence of the cross-modal emergent abilities is studied, and a novel few-shot activation tuning approach is proposed to activate such abilities of SALMONN. To our knowledge, SALMONN is the first model of its type and can be regarded as a step towards AI with generic hearing abilities. An interactive demo of SALMONN is available at \url{https://github.com/bytedance/SALMONN}, and the training code and model checkpoints will be released upon acceptance.