OCTOPUS: Optimierter KV-Cache für Transformer mittels oktaedrischer Parametrisierung unter optimaler Fehlerquadrat-Quantisierung

Zusammenfassung

Der Schlüssel-Wert-Zwischenspeicher (KV-Cache) dominiert die Speicherbandbreite und den Speicherbedarf bei autoregressiver Inferenz mit langen Kontexten. Neuere rotationsvorkonditionierte Codecs (TurboQuant, PolarQuant) zeigen, dass eine strukturierte Zufallsrotation gefolgt von einem skalaren Quantisierer pro Koordinate, der auf eine analytisch behandelbare Randverteilung abgestimmt ist, ein nahezu optimales Rezept für die KV-Kompression darstellt. OCTOPUS erweitert dieses Paradigma durch die gemeinsame Quantisierung rotierter Koordinatentripel. Die Richtung jedes Tripels wird über eine oktaedrische Parametrisierung auf ein Quadrat abgebildet, und die beiden resultierenden Koordinaten sowie die Norm des Tripels werden mit Lloyd-Max gegenüber implementierungsangepassten Randverteilungen quantisiert. Die Optimierung des quadratischen Fehlers pro Tripel ergibt eine streng ungleichmäßige Bit-Zuweisung, die ausschließlich von der Gesamtdimensionalität der Schlüssel abhängt. Wir stellen fest, dass das endlichdimensionale Qualitätsoptimum bei Durchläufen auf jedem von uns getesteten realen Decoder konstant ist. Der Codec ist datenunbesehen, online und bei gegebenem Startwert deterministisch. Über Text, Video und Audio hinweg erreicht oder übertrifft OCTOPUS jeden früheren Rotationscodec bei jeder berichteten Bitbreite und Metrik, wobei der Vorsprung mit sinkender Bitrate für extreme Kompression zunimmt. Darüber hinaus rekonstruiert eine fusionierte Triton-Implementierung Schlüssel im laufenden Betrieb, ohne den unkomprimierten Schlüssel zu materialisieren, sodass der Codec keine zusätzliche Dekodier-Bandbreite oder -Latenz gegenüber der bestehenden Dequantisierung einführt. Projektseite: https://octopus-quant.github.io/

English

The key-value (KV) cache dominates memory bandwidth and footprint in long-context autoregressive inference. Recent rotation-preconditioned codecs (TurboQuant, PolarQuant) show that a structured random rotation followed by a per-coordinate scalar quantizer matched to an analytically tractable marginal is a near-optimal recipe for KV compression. OCTOPUS advances this paradigm through joint quantization of rotated coordinate triplets. Each triplet's direction is mapped to a square via an octahedral parameterization, and the two resulting coordinates and the triplet norm are Lloyd-Max quantized against implementation-matched marginals. Optimizing the per-triplet squared error gives a strictly non-uniform bit allocation depending only on the total dimensionality of the keys. We find the finite-dimensional quality optimum with sweeps to be constant on every real decoder we test. The codec is data-oblivious, online, and deterministic given a seed. Across text, video, and audio, OCTOPUS matches or beats every prior rotation codec at every reported bit width and metric, with a lead that grows as bits drop for extreme compression. Furthermore, a fused Triton implementation reconstructs keys on the fly without materializing the uncompressed key, so the codec adds no decode-time bandwidth or latency over the existing dequantization. Project Page: https://octopus-quant.github.io/