DOTResize: Riduzione della larghezza dei LLM tramite fusione di neuroni basata su Trasporto Ottimo Discreto

DOTResize: Reducing LLM Width via Discrete Optimal Transport-based Neuron Merging

July 6, 2025

Autori: Neha Verma, Kenton Murray, Kevin Duh

cs.AI

Abstract

La compressione dei modelli offre una promettente strada per ridurre i costi e l'inaccessibilità dei grandi modelli pre-addestrati, senza compromettere significativamente le loro prestazioni impressionanti. I grandi modelli Transformer, inclusi i grandi modelli linguistici (LLM), spesso contengono ridondanze computazionali, che possono rappresentare un obiettivo per nuovi metodi di compressione dei modelli. In questo lavoro, ci concentriamo specificamente sulle ridondanze a livello di neuroni negli strati del modello, combinando gruppi di neuroni simili in un numero inferiore di neuroni. Inquadriamo questa riduzione della larghezza come un problema di Trasporto Ottimale Discreto e proponiamo DOTResize, un nuovo metodo di compressione per Transformer che utilizza la teoria del trasporto ottimale per trasformare e comprimere i pesi del modello. Per garantire l'applicabilità all'interno dell'architettura Transformer, motiviamo e incorporiamo la regolarizzazione entropica e la fattorizzazione di matrice nelle mappe di trasporto prodotte dal nostro metodo. A differenza degli approcci basati sul pruning, che scartano i neuroni in base a misure di importanza, DOTResize riproietta l'intera larghezza dei neuroni, consentendo la conservazione e la ridistribuzione del segnale utile attraverso lo strato ridotto. I risultati empirici mostrano che, rispetto a tecniche semplici o all'avanguardia di pruning della larghezza dei neuroni, DOTResize può superare questi metodi in diverse famiglie e dimensioni di LLM, ottenendo al contempo riduzioni misurabili dei costi computazionali nel mondo reale.

English

Model compression offers a promising path to reducing the cost and inaccessibility of large pre-trained models, without significantly compromising their impressive performance. Large Transformer models, including large language models (LLMs), often contain computational redundancy, which can serve as a target for new model compression methods. In this work, we specifically target neuron-level redundancies in model layers by combining groups of similar neurons into fewer neurons. We frame this width reduction as a Discrete Optimal Transport problem, and propose DOTResize, a novel Transformer compression method that uses optimal transport theory to transform and compress model weights. To ensure applicability within the Transformer architecture, we motivate and incorporate entropic regularization and matrix factorization into the transportation maps produced by our method. Unlike pruning-based approaches which discard neurons based on importance measures, DOTResize re-projects the entire neuron width, allowing the retention and redistribution of useful signal across the reduced layer. Empirical results show that compared to simple or state-of-the-art neuron width-pruning techniques, DOTResize can outperform these methods across multiple LLM families and sizes, while achieving measurable reductions in real-world computational cost.