SALMONN: Verso capacità uditive generiche per i modelli linguistici di grandi dimensioni

SALMONN: Towards Generic Hearing Abilities for Large Language Models

October 20, 2023

Autori: Changli Tang, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang

cs.AI

Abstract

L'udito è senza dubbio un'abilità essenziale per gli agenti di intelligenza artificiale (AI) nel mondo fisico, riferendosi alla percezione e comprensione di informazioni uditive generali che comprendono almeno tre tipi di suoni: il parlato, gli eventi audio e la musica. In questo articolo, proponiamo SALMONN, una rete neurale aperta per il parlato, l'audio, il linguaggio e la musica, costruita integrando un modello linguistico di grandi dimensioni (LLM) pre-addestrato su testo con codificatori per il parlato e l'audio in un unico modello multimodale. SALMONN consente all'LLM di elaborare e comprendere direttamente input audio generali, ottenendo prestazioni competitive in numerosi compiti di parlato e audio utilizzati durante l'addestramento, come il riconoscimento e la traduzione automatica del parlato, la risposta a domande basate su informazioni uditive, il riconoscimento delle emozioni, la verifica del parlante e la descrizione di musica e audio, tra gli altri. SALMONN possiede anche un insieme diversificato di abilità emergenti non osservate durante l'addestramento, che includono, ma non si limitano a, la traduzione del parlato in lingue non addestrate, il riempimento di slot basato sul parlato, la risposta a domande basate su query vocali, la narrazione basata su audio e il ragionamento congiunto su parlato e audio, tra gli altri. La presenza di queste abilità emergenti cross-modali viene studiata, e viene proposto un nuovo approccio di attivazione few-shot per attivare tali abilità di SALMONN. Per quanto ne sappiamo, SALMONN è il primo modello di questo tipo e può essere considerato un passo verso l'AI con abilità uditive generiche. Una demo interattiva di SALMONN è disponibile all'indirizzo \url{https://github.com/bytedance/SALMONN}, e il codice di addestramento e i checkpoint del modello verranno rilasciati dopo l'accettazione.

English

Hearing is arguably an essential ability of artificial intelligence (AI) agents in the physical world, which refers to the perception and understanding of general auditory information consisting of at least three types of sounds: speech, audio events, and music. In this paper, we propose SALMONN, a speech audio language music open neural network, built by integrating a pre-trained text-based large language model (LLM) with speech and audio encoders into a single multimodal model. SALMONN enables the LLM to directly process and understand general audio inputs and achieve competitive performances on a number of speech and audio tasks used in training, such as automatic speech recognition and translation, auditory-information-based question answering, emotion recognition, speaker verification, and music and audio captioning etc. SALMONN also has a diverse set of emergent abilities unseen in the training, which includes but is not limited to speech translation to untrained languages, speech-based slot filling, spoken-query-based question answering, audio-based storytelling, and speech audio co-reasoning etc. The presence of the cross-modal emergent abilities is studied, and a novel few-shot activation tuning approach is proposed to activate such abilities of SALMONN. To our knowledge, SALMONN is the first model of its type and can be regarded as a step towards AI with generic hearing abilities. An interactive demo of SALMONN is available at \url{https://github.com/bytedance/SALMONN}, and the training code and model checkpoints will be released upon acceptance.