COMPOT: Ortogonalización de Matriz de Procusto Optimizada por Calibración para la Compresión de Transformadores
COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
February 16, 2026
Autores: Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Ammar Ali, Baher Mohammad, Stamatios Lefkimmiatis
cs.AI
Resumen
La compresión post-entrenamiento de modelos Transformer comúnmente se basa en la descomposición por valores singulares truncada (SVD). Sin embargo, imponer un único subespacio compartido puede degradar la precisión incluso con compresión moderada. El aprendizaje de diccionarios dispersos proporciona una representación más flexible de unión de subespacios, pero los enfoques existentes a menudo sufren de actualizaciones iterativas de diccionarios y coeficientes. Proponemos COMPOT (Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers), un marco de compresión libre de entrenamiento que utiliza un pequeño conjunto de datos de calibración para estimar una factorización de pesos dispersa. COMPOT emplea diccionarios ortogonales que permiten actualizaciones de Procrustes en forma cerrada para el diccionario y una codificación dispersa analítica de un solo paso para los coeficientes, eliminando la optimización iterativa. Para manejar la sensibilidad heterogénea de las capas bajo un presupuesto global de compresión, COMPOT introduce además una estrategia de asignación dinámica de una sola vez que redistribuye adaptivamente las tasas de compresión por capa. Experimentos exhaustivos en diversas arquitecturas y tareas muestran que COMPOT ofrece consistentemente una relación calidad-compresión superior frente a sólidos baselines de baja dimensionalidad y dispersos, manteniendo además una compatibilidad total con la cuantización post-entrenamiento para compresión extrema. El código está disponible https://github.com/mts-ai/COMPOT{aquí}.
English
Post-training compression of Transformer models commonly relies on truncated singular value decomposition (SVD). However, enforcing a single shared subspace can degrade accuracy even at moderate compression. Sparse dictionary learning provides a more flexible union-of-subspaces representation, but existing approaches often suffer from iterative dictionary and coefficient updates. We propose COMPOT (Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers), a training-free compression framework that uses a small calibration dataset to estimate a sparse weight factorization. COMPOT employs orthogonal dictionaries that enable closed-form Procrustes updates for the dictionary and analytical single-step sparse coding for the coefficients, eliminating iterative optimization. To handle heterogeneous layer sensitivity under a global compression budget, COMPOT further introduces a one-shot dynamic allocation strategy that adaptively redistributes layer-wise compression rates. Extensive experiments across diverse architectures and tasks show that COMPOT consistently delivers a superior quality-compression trade-off over strong low-rank and sparse baselines, while remaining fully compatible with post-training quantization for extreme compression. Code is available https://github.com/mts-ai/COMPOT{here}.