LLMZip: Verliesloze tekstcompressie met behulp van grote taalmodel(len)
LLMZip: Lossless Text Compression using Large Language Models
June 6, 2023
Auteurs: Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai
cs.AI
Samenvatting
Wij bieden nieuwe schattingen van een asymptotische bovengrens voor de entropie van het Engels, waarbij we het grote taalmodel LLaMA-7B gebruiken als voorspeller voor het volgende token gegeven een venster van voorgaande tokens. Deze schatting is aanzienlijk kleiner dan de momenteel beschikbare schattingen in cover1978convergent en lutati2023focus. Een natuurlijk bijproduct is een algoritme voor verliesvrije compressie van Engelse tekst, dat de voorspelling van het grote taalmodel combineert met een verliesvrij compressieschema. Voorlopige resultaten van beperkte experimenten suggereren dat ons schema state-of-the-art tekstcompressieschema's zoals BSC, ZPAQ en paq8h overtreft.
English
We provide new estimates of an asymptotic upper bound on the entropy of
English using the large language model LLaMA-7B as a predictor for the next
token given a window of past tokens. This estimate is significantly smaller
than currently available estimates in cover1978convergent,
lutati2023focus. A natural byproduct is an algorithm for lossless
compression of English text which combines the prediction from the large
language model with a lossless compression scheme. Preliminary results from
limited experiments suggest that our scheme outperforms state-of-the-art text
compression schemes such as BSC, ZPAQ, and paq8h.