DOTResize: Reduzierung der Breite von LLMs durch diskrete Optimaltransport-basierte Neuronenzusammenführung

DOTResize: Reducing LLM Width via Discrete Optimal Transport-based Neuron Merging

July 6, 2025

papers.authors: Neha Verma, Kenton Murray, Kevin Duh

cs.AI

papers.abstract

Modellkompression bietet einen vielversprechenden Ansatz, um die Kosten und die Unzugänglichkeit großer vortrainierter Modelle zu reduzieren, ohne deren beeindruckende Leistung signifikant zu beeinträchtigen. Große Transformer-Modelle, einschließlich großer Sprachmodelle (LLMs), enthalten oft rechnerische Redundanzen, die als Ziel für neue Modellkompressionsmethoden dienen können. In dieser Arbeit konzentrieren wir uns speziell auf Neuron-Redundanzen in Modellschichten, indem wir Gruppen ähnlicher Neuronen in weniger Neuronen zusammenfassen. Wir formulieren diese Breitenreduktion als ein Problem des Diskreten Optimalen Transports und schlagen DOTResize vor, eine neuartige Transformer-Kompressionsmethode, die die Theorie des Optimalen Transports nutzt, um Modellgewichte zu transformieren und zu komprimieren. Um die Anwendbarkeit innerhalb der Transformer-Architektur zu gewährleisten, integrieren wir entropische Regularisierung und Matrixfaktorisierung in die von unserer Methode erzeugten Transportabbildungen. Im Gegensatz zu beschneidungsbasierten Ansätzen, die Neuronen basierend auf Wichtigkeitsmaßen verwerfen, projiziert DOTResize die gesamte Neuronbreite neu, wodurch die Beibehaltung und Umverteilung nützlicher Signale über die reduzierte Schicht ermöglicht wird. Empirische Ergebnisse zeigen, dass DOTResize im Vergleich zu einfachen oder state-of-the-art Neuronbreiten-Beschneidungstechniken diese Methoden über mehrere LLM-Familien und -Größen hinweg übertreffen kann, während gleichzeitig messbare Reduktionen der realen Rechenkosten erreicht werden.

English

Model compression offers a promising path to reducing the cost and inaccessibility of large pre-trained models, without significantly compromising their impressive performance. Large Transformer models, including large language models (LLMs), often contain computational redundancy, which can serve as a target for new model compression methods. In this work, we specifically target neuron-level redundancies in model layers by combining groups of similar neurons into fewer neurons. We frame this width reduction as a Discrete Optimal Transport problem, and propose DOTResize, a novel Transformer compression method that uses optimal transport theory to transform and compress model weights. To ensure applicability within the Transformer architecture, we motivate and incorporate entropic regularization and matrix factorization into the transportation maps produced by our method. Unlike pruning-based approaches which discard neurons based on importance measures, DOTResize re-projects the entire neuron width, allowing the retention and redistribution of useful signal across the reduced layer. Empirical results show that compared to simple or state-of-the-art neuron width-pruning techniques, DOTResize can outperform these methods across multiple LLM families and sizes, while achieving measurable reductions in real-world computational cost.