LLMZip: Compresión de Texto sin Pérdidas utilizando Modelos de Lenguaje de Gran Escala
LLMZip: Lossless Text Compression using Large Language Models
June 6, 2023
Autores: Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai
cs.AI
Resumen
Proporcionamos nuevas estimaciones de un límite superior asintótico para la entropía del inglés utilizando el modelo de lenguaje grande LLaMA-7B como predictor del siguiente token dado una ventana de tokens anteriores. Esta estimación es significativamente menor que las estimaciones actualmente disponibles en cover1978convergent y lutati2023focus. Un subproducto natural es un algoritmo para la compresión sin pérdida de texto en inglés que combina la predicción del modelo de lenguaje grande con un esquema de compresión sin pérdida. Los resultados preliminares de experimentos limitados sugieren que nuestro esquema supera a los esquemas de compresión de texto más avanzados, como BSC, ZPAQ y paq8h.
English
We provide new estimates of an asymptotic upper bound on the entropy of
English using the large language model LLaMA-7B as a predictor for the next
token given a window of past tokens. This estimate is significantly smaller
than currently available estimates in cover1978convergent,
lutati2023focus. A natural byproduct is an algorithm for lossless
compression of English text which combines the prediction from the large
language model with a lossless compression scheme. Preliminary results from
limited experiments suggest that our scheme outperforms state-of-the-art text
compression schemes such as BSC, ZPAQ, and paq8h.