프로그램 합성으로서의 무손실 텐서 압축

초록

모델 체크포인트는 개수와 크기 모두에서 증가하고 있어, 보관, 전송, 배포 비용이 점점 더 커지고 있다. 범용 압축기는 저장 요구량을 줄일 수 있지만 텐서 구조를 무시하는 반면, 기존의 텐서 특화 압축기는 고정되고 형식에 특화된 파이프라인에 의존한다. 우리는 무손실 텐서 압축을 프로그램 합성으로 정식화하는 Brevis를 제시한다. 우리는 반복 영역과 부동소수점 필드와 같은 반복적인 텐서 구조를 일련의 가역 연산자를 통해 포착하는 타입이 있는 도메인 특화 언어(DSL)를 설계한다. 주어진 텐서에 대해 Brevis는 이를 비트 단위로 정확히 재구성하는 자족적인 DSL 프로그램을 합성한다. 소수의 대표적인 텐서 샘플로부터 학습된 체크포인트 특화 생성 사전(prior)은 제한된 A* 탐색을 안내하여 간결한 프로그램을 합성하며, 이 프로그램은 이후 비트 정확한 압축 해제를 위해 직접 실행될 수 있다. 언어, 오디오, 이미지 생성 모델을 아우르는 10개의 공개 체크포인트에서 Brevis는 2.13TB의 체크포인트 데이터를 1.41TB로 줄여 33.93%의 저장 공간 절감을 달성한다. Brevis는 zstd와 gzip을 포함한 네 가지 범용 압축기보다 최대 30.87% 더 작은 아카이브를 생성하며, 텐서 특화 압축기인 ZipNN과 DFloat11보다도 더 작은 아카이브를 생성한다. 실용적인 동시성 구성 하에서 Brevis는 모든 원본 바이트를 보존하면서 3.60GB/s의 압축 속도와 6.61GB/s의 압축 해제 속도를 달성한다.

English

Model checkpoints are growing in both number and size, which makes archival, transfer, and deployment increasingly costly. General-purpose compressors can reduce storage requirements but ignore tensor structure, whereas existing tensor-specific compressors rely on fixed and format-specific pipelines. We present Brevis, which formulates lossless tensor compression as program synthesis. We design a typed domain-specific language (DSL) that captures recurring tensor structures, such as repeated regions and floating-point fields, through a set of reversible operators. Given a tensor, Brevis synthesizes a self-contained DSL program that reconstructs it bit-exactly. A checkpoint-specific production prior, learned from a small representative sample of tensors, guides a bounded A* search to synthesize compact programs, which can later be executed directly for bit-exact decompression. On 10 public checkpoints spanning language, audio, and image generation models, Brevis reduces 2.13 TB of checkpoint data to 1.41 TB, a 33.93% storage reduction. It produces archives up to 30.87% smaller than those of four general-purpose compressors, including zstd and gzip, and smaller archives than the tensor-specific compressors ZipNN and DFloat11. Under a practical concurrency configuration, Brevis achieves 3.60 GB/s compression and 6.61 GB/s decompression while preserving every source byte.