LLMZip: Сжатие текста без потерь с использованием больших языковых моделей
LLMZip: Lossless Text Compression using Large Language Models
June 6, 2023
Авторы: Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai
cs.AI
Аннотация
Мы представляем новые оценки асимптотической верхней границы энтропии английского языка, используя крупную языковую модель LLaMA-7B в качестве предиктора следующего токена на основе окна предыдущих токенов. Эта оценка значительно меньше, чем текущие доступные оценки в работах cover1978convergent и lutati2023focus. Естественным побочным продуктом является алгоритм для сжатия английского текста без потерь, который объединяет предсказания крупной языковой модели со схемой сжатия без потерь. Предварительные результаты ограниченных экспериментов показывают, что наша схема превосходит современные методы сжатия текста, такие как BSC, ZPAQ и paq8h.
English
We provide new estimates of an asymptotic upper bound on the entropy of
English using the large language model LLaMA-7B as a predictor for the next
token given a window of past tokens. This estimate is significantly smaller
than currently available estimates in cover1978convergent,
lutati2023focus. A natural byproduct is an algorithm for lossless
compression of English text which combines the prediction from the large
language model with a lossless compression scheme. Preliminary results from
limited experiments suggest that our scheme outperforms state-of-the-art text
compression schemes such as BSC, ZPAQ, and paq8h.