DOTResize: Уменьшение ширины больших языковых моделей с помощью слияния нейронов на основе дискретного оптимального транспорта

DOTResize: Reducing LLM Width via Discrete Optimal Transport-based Neuron Merging

July 6, 2025

Авторы: Neha Verma, Kenton Murray, Kevin Duh

cs.AI

Аннотация

Сжатие моделей предлагает перспективный путь для снижения затрат и повышения доступности крупных предобученных моделей без значительного ущерба для их впечатляющей производительности. Большие модели на основе архитектуры Transformer, включая крупные языковые модели (LLM), часто содержат вычислительную избыточность, которая может стать целью для новых методов сжатия моделей. В данной работе мы фокусируемся на избыточности на уровне нейронов в слоях модели, объединяя группы схожих нейронов в меньшее их количество. Мы формулируем это сокращение ширины как задачу дискретного оптимального транспорта и предлагаем DOTResize — новый метод сжатия Transformer, который использует теорию оптимального транспорта для преобразования и сжатия весов модели. Чтобы обеспечить применимость в рамках архитектуры Transformer, мы обосновываем и включаем энтропийную регуляризацию и факторизацию матриц в карты транспорта, создаваемые нашим методом. В отличие от подходов, основанных на обрезке, которые удаляют нейроны на основе мер важности, DOTResize перепроецирует всю ширину нейронов, позволяя сохранять и перераспределять полезный сигнал в сокращённом слое. Эмпирические результаты показывают, что по сравнению с простыми или передовыми методами обрезки ширины нейронов DOTResize может превосходить эти методы для различных семейств и размеров LLM, одновременно достигая измеримого снижения реальных вычислительных затрат.

English

Model compression offers a promising path to reducing the cost and inaccessibility of large pre-trained models, without significantly compromising their impressive performance. Large Transformer models, including large language models (LLMs), often contain computational redundancy, which can serve as a target for new model compression methods. In this work, we specifically target neuron-level redundancies in model layers by combining groups of similar neurons into fewer neurons. We frame this width reduction as a Discrete Optimal Transport problem, and propose DOTResize, a novel Transformer compression method that uses optimal transport theory to transform and compress model weights. To ensure applicability within the Transformer architecture, we motivate and incorporate entropic regularization and matrix factorization into the transportation maps produced by our method. Unlike pruning-based approaches which discard neurons based on importance measures, DOTResize re-projects the entire neuron width, allowing the retention and redistribution of useful signal across the reduced layer. Empirical results show that compared to simple or state-of-the-art neuron width-pruning techniques, DOTResize can outperform these methods across multiple LLM families and sizes, while achieving measurable reductions in real-world computational cost.