ChatPaper.aiChatPaper

DOTResize : Réduction de la largeur des LLM via la fusion de neurones basée sur le transport optimal discret

DOTResize: Reducing LLM Width via Discrete Optimal Transport-based Neuron Merging

July 6, 2025
papers.authors: Neha Verma, Kenton Murray, Kevin Duh
cs.AI

papers.abstract

La compression de modèles offre une voie prometteuse pour réduire le coût et l'inaccessibilité des grands modèles pré-entraînés, sans compromettre significativement leurs performances impressionnantes. Les grands modèles Transformer, y compris les grands modèles de langage (LLM), contiennent souvent une redondance computationnelle, qui peut servir de cible pour de nouvelles méthodes de compression de modèles. Dans ce travail, nous ciblons spécifiquement les redondances au niveau des neurones dans les couches du modèle en regroupant des neurones similaires en un nombre réduit de neurones. Nous formulons cette réduction de largeur comme un problème de Transport Optimal Discret, et proposons DOTResize, une nouvelle méthode de compression de Transformer qui utilise la théorie du transport optimal pour transformer et compresser les poids du modèle. Pour garantir l'applicabilité au sein de l'architecture Transformer, nous motivons et intégrons une régularisation entropique et une factorisation matricielle dans les cartes de transport produites par notre méthode. Contrairement aux approches basées sur l'élagage qui suppriment des neurones en fonction de mesures d'importance, DOTResize reprojette toute la largeur des neurones, permettant la rétention et la redistribution du signal utile à travers la couche réduite. Les résultats empiriques montrent que, par rapport aux techniques simples ou de pointe d'élagage de largeur de neurones, DOTResize peut surpasser ces méthodes sur plusieurs familles et tailles de LLM, tout en obtenant des réductions mesurables du coût computationnel en situation réelle.
English
Model compression offers a promising path to reducing the cost and inaccessibility of large pre-trained models, without significantly compromising their impressive performance. Large Transformer models, including large language models (LLMs), often contain computational redundancy, which can serve as a target for new model compression methods. In this work, we specifically target neuron-level redundancies in model layers by combining groups of similar neurons into fewer neurons. We frame this width reduction as a Discrete Optimal Transport problem, and propose DOTResize, a novel Transformer compression method that uses optimal transport theory to transform and compress model weights. To ensure applicability within the Transformer architecture, we motivate and incorporate entropic regularization and matrix factorization into the transportation maps produced by our method. Unlike pruning-based approaches which discard neurons based on importance measures, DOTResize re-projects the entire neuron width, allowing the retention and redistribution of useful signal across the reduced layer. Empirical results show that compared to simple or state-of-the-art neuron width-pruning techniques, DOTResize can outperform these methods across multiple LLM families and sizes, while achieving measurable reductions in real-world computational cost.
PDF11July 14, 2025