SALMONN: На пути к универсальным слуховым способностям для больших языковых моделей

SALMONN: Towards Generic Hearing Abilities for Large Language Models

October 20, 2023

Авторы: Changli Tang, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang

cs.AI

Аннотация

Слух, несомненно, является важной способностью искусственного интеллекта (ИИ) в физическом мире, подразумевая восприятие и понимание общей звуковой информации, которая включает как минимум три типа звуков: речь, звуковые события и музыку. В данной работе мы представляем SALMONN — открытую нейронную сеть для обработки речи, звука и музыки, созданную путем интеграции предварительно обученной текстовой крупной языковой модели (LLM) с кодировщиками речи и звука в единую мультимодальную модель. SALMONN позволяет LLM напрямую обрабатывать и понимать общие звуковые входные данные и демонстрирует конкурентоспособные результаты на ряде задач, используемых при обучении, таких как автоматическое распознавание и перевод речи, ответы на вопросы на основе звуковой информации, распознавание эмоций, верификация говорящего, а также создание описаний музыки и звуков. SALMONN также обладает разнообразным набором возникающих способностей, не наблюдавшихся в процессе обучения, включая, но не ограничиваясь, переводом речи на неподготовленные языки, заполнением слотов на основе речи, ответами на вопросы с использованием устных запросов, созданием историй на основе звука и совместным рассуждением на основе речи и звука. Исследуется наличие кросс-модальных возникающих способностей, и предлагается новый подход к активации таких способностей SALMONN с использованием настройки с малым количеством примеров. Насколько нам известно, SALMONN является первой моделью такого типа и может рассматриваться как шаг к созданию ИИ с универсальными слуховыми способностями. Интерактивная демонстрация SALMONN доступна по адресу \url{https://github.com/bytedance/SALMONN}, а код обучения и контрольные точки модели будут опубликованы после принятия работы.

English

Hearing is arguably an essential ability of artificial intelligence (AI) agents in the physical world, which refers to the perception and understanding of general auditory information consisting of at least three types of sounds: speech, audio events, and music. In this paper, we propose SALMONN, a speech audio language music open neural network, built by integrating a pre-trained text-based large language model (LLM) with speech and audio encoders into a single multimodal model. SALMONN enables the LLM to directly process and understand general audio inputs and achieve competitive performances on a number of speech and audio tasks used in training, such as automatic speech recognition and translation, auditory-information-based question answering, emotion recognition, speaker verification, and music and audio captioning etc. SALMONN also has a diverse set of emergent abilities unseen in the training, which includes but is not limited to speech translation to untrained languages, speech-based slot filling, spoken-query-based question answering, audio-based storytelling, and speech audio co-reasoning etc. The presence of the cross-modal emergent abilities is studied, and a novel few-shot activation tuning approach is proposed to activate such abilities of SALMONN. To our knowledge, SALMONN is the first model of its type and can be regarded as a step towards AI with generic hearing abilities. An interactive demo of SALMONN is available at \url{https://github.com/bytedance/SALMONN}, and the training code and model checkpoints will be released upon acceptance.