Whisper-GPT: Um Modelo de Linguagem Grande de Áudio com Representação Híbrida

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Autores: Prateek Verma

cs.AI

Resumo

Propomos o WHISPER-GPT: Um modelo de linguagem grande generativo (LLM) para fala e música que nos permite trabalhar com representações de áudio contínuas e tokens discretos simultaneamente como parte de uma única arquitetura. Houve um grande aumento em modelos generativos de áudio, fala e música que utilizam tokens de áudio discretos derivados de algoritmos de compressão neural, por exemplo, ENCODEC. No entanto, uma das principais desvantagens desse abordagem é lidar com o comprimento do contexto. Isso se torna um problema para arquiteturas generativas de alta fidelidade se for necessário considerar todo o conteúdo de áudio em várias frequências para a previsão do próximo token. Ao combinar a representação contínua de áudio, como o espectrograma, e tokens acústicos discretos, mantemos o melhor dos dois mundos: temos todas as informações necessárias do áudio em um instante específico em um único token, mas permitimos que o LLM preveja o token futuro para permitir a amostragem e outros benefícios que o espaço discreto proporciona. Mostramos como nossa arquitetura melhora a perplexidade e os escores de probabilidade logarítmica negativa para a previsão do próximo token em comparação com um LLM baseado em tokens para fala e música.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.