Flüster-GPT: Ein hybrides Darstellungs-Audio-Großsprachmodell

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Autoren: Prateek Verma

cs.AI

Zusammenfassung

Wir schlagen WHISPER-GPT vor: Ein generatives großes Sprachmodell (LLM) für Sprache und Musik, das es uns ermöglicht, gleichzeitig mit kontinuierlichen Audio-Repräsentationen und diskreten Tokens als Teil einer einzigen Architektur zu arbeiten. Es gab einen enormen Anstieg an generativen Audio-, Sprach- und Musikmodellen, die diskrete Audio-Tokens verwenden, die aus neuronalen Kompressionsalgorithmen abgeleitet sind, z.B. ENCODEC. Einer der Hauptnachteile dieses Ansatzes ist jedoch die Behandlung der Kontextlänge. Bei hochwertigen generativen Architekturen explodiert die Anzahl der zu berücksichtigenden Audioinhalte bei verschiedenen Frequenzen für die Vorhersage des nächsten Tokens. Durch die Kombination von kontinuierlicher Audio-Repräsentation wie dem Spektrogramm und diskreten akustischen Tokens behalten wir das Beste aus beiden Welten: Alle erforderlichen Informationen aus dem Audio zu einem bestimmten Zeitpunkt in einem einzigen Token, ermöglichen jedoch dem LLM die Vorhersage des zukünftigen Tokens, um das Abtasten und andere Vorteile des diskreten Raums zu ermöglichen. Wir zeigen, wie unsere Architektur im Vergleich zu einem auf Tokens basierenden LLM für Sprache und Musik die Perplexität und die negativen Log-Likelihood-Werte für die Vorhersage des nächsten Tokens verbessert.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.