Whisper-GPT: Een Hybride Representatie Audio Groot Taalmodel

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Auteurs: Prateek Verma

cs.AI

Samenvatting

We stellen WHISPER-GPT voor: een generatief groot taalmodel (LLM) voor spraak en muziek dat ons in staat stelt om tegelijkertijd te werken met continue audiorepresentaties en discrete tokens als onderdeel van een enkele architectuur. Er is een enorme toename geweest in generatieve audio-, spraak- en muziekmodellen die discrete audiokens gebruiken die zijn afgeleid van neurale compressiealgoritmen, bijvoorbeeld ENCODEC. Een van de belangrijkste nadelen van deze aanpak is echter de omgang met de contextlengte. Deze wordt enorm groot voor generatieve architecturen met een hoge nauwkeurigheid als men rekening moet houden met alle audiocomponenten op verschillende frequenties voor de voorspelling van het volgende token. Door continue audiorepresentatie zoals het spectrogram en discrete akoestische tokens te combineren behouden we het beste van beide werelden: alle benodigde informatie van de audio op een specifiek tijdstip in een enkel token, maar laten we het LLM de toekomstige token voorspellen om sampling en andere voordelen van de discrete ruimte mogelijk te maken. We tonen aan hoe onze architectuur de perplexiteit en negatieve log-waarschijnlijkheidsscores voor de voorspelling van het volgende token verbetert in vergelijking met een op tokens gebaseerd LLM voor spraak en muziek.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.