プログラム合成としての可逆テンソル圧縮

要旨

モデルチェックポイントは数とサイズの両方において増大し続けており、アーカイブ保存、転送、およびデプロイのコストがますます高くなっている。汎用圧縮器はストレージ要件を削減できるものの、テンソル構造を無視する一方、既存のテンソル特化圧縮器は固定されたフォーマット固有のパイプラインに依存している。我々は、可逆テンソル圧縮をプログラム合成として定式化するBrevisを提案する。我々は、反復領域や浮動小数点フィールドなどの再帰的なテンソル構造を、一連の可逆演算子を通じて捕捉する型付きドメイン固有言語（DSL）を設計する。テンソルが与えられると、Brevisはそれをビット完全に再構築する自己完結型のDSLプログラムを合成する。テンソルの小さな代表サンプルから学習されたチェックポイント固有の生成事前分布が、有界A*探索を導いてコンパクトなプログラムを合成し、そのプログラムは後にビット完全な復元のために直接実行できる。言語、音声、および画像生成モデルにわたる10の公開チェックポイントにおいて、Brevisは2.13 TBのチェックポイントデータを1.41 TBに削減し、33.93%のストレージ削減を達成する。これは、zstdやgzipを含む4つの汎用圧縮器よりも最大30.87%小さなアーカイブを生成し、テンソル特化圧縮器であるZipNNおよびDFloat11よりも小さなアーカイブを生成する。実用的な並行処理構成の下で、Brevisはすべてのソースバイトを保持しながら、3.60 GB/sの圧縮と6.61 GB/sの復元を達成する。

English

Model checkpoints are growing in both number and size, which makes archival, transfer, and deployment increasingly costly. General-purpose compressors can reduce storage requirements but ignore tensor structure, whereas existing tensor-specific compressors rely on fixed and format-specific pipelines. We present Brevis, which formulates lossless tensor compression as program synthesis. We design a typed domain-specific language (DSL) that captures recurring tensor structures, such as repeated regions and floating-point fields, through a set of reversible operators. Given a tensor, Brevis synthesizes a self-contained DSL program that reconstructs it bit-exactly. A checkpoint-specific production prior, learned from a small representative sample of tensors, guides a bounded A* search to synthesize compact programs, which can later be executed directly for bit-exact decompression. On 10 public checkpoints spanning language, audio, and image generation models, Brevis reduces 2.13 TB of checkpoint data to 1.41 TB, a 33.93% storage reduction. It produces archives up to 30.87% smaller than those of four general-purpose compressors, including zstd and gzip, and smaller archives than the tensor-specific compressors ZipNN and DFloat11. Under a practical concurrency configuration, Brevis achieves 3.60 GB/s compression and 6.61 GB/s decompression while preserving every source byte.