Whisper-GPT: Гибридная модель крупного языкового моделирования на основе аудио.

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Авторы: Prateek Verma

cs.AI

Аннотация

Мы предлагаем WHISPER-GPT: генеративную модель большого языка (LLM) для речи и музыки, которая позволяет нам работать одновременно с непрерывными аудио представлениями и дискретными токенами как часть единой архитектуры. Наблюдается значительный рост в генеративных моделях аудио, речи и музыки, которые используют дискретные аудио токены, полученные из алгоритмов нейрокомпрессии, например, ENCODEC. Однако одним из основных недостатков этого подхода является обработка длины контекста. Она значительно возрастает для архитектуры высокой точности генерации, если нужно учитывать все аудио-содержимое на различных частотах для предсказания следующего токена. Совмещая непрерывное аудио представление, такое как спектрограмма, и дискретные акустические токены, мы сохраняем лучшее из обоих миров: имеем всю необходимую информацию из аудио в определенный момент времени в одном токене, но позволяем LLM предсказывать будущий токен для сэмплирования и других преимуществ, которые предоставляет дискретное пространство. Мы показываем, как наша архитектура улучшает показатели непонятности и отрицательной логарифмической правдоподобности для предсказания следующего токена по сравнению с токен-основанным LLM для речи и музыки.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.