ReplaceMe: レイヤープルーニングと線形変換によるネットワーク簡素化

ReplaceMe: Network Simplification via Layer Pruning and Linear Transformations

May 5, 2025

著者: Dmitriy Shopkhoev, Ammar Ali, Magauiya Zhussip, Valentin Malykh, Stamatios Lefkimmiatis, Nikos Komodakis, Sergey Zagoruyko

cs.AI

要旨

我々はReplaceMeを紹介する。これは、Transformerブロックを線形演算で効果的に置き換えながら、低圧縮率においても高い性能を維持する、汎用的なトレーニング不要の深さプルーニング手法である。従来のプルーニング手法が追加のトレーニングやファインチューニングを必要とするのに対し、本手法では、プルーニングされたブロックを近似するための線形変換を推定するために使用される少量のキャリブレーションデータセットのみを必要とする。この推定された線形マッピングは、残りのTransformerブロックとシームレスに統合可能であり、追加のネットワークパラメータを必要としない。我々の実験では、ReplaceMeは他のトレーニング不要の手法を一貫して上回り、大規模な再トレーニング/ファインチューニングやアーキテクチャ変更を伴う最先端のプルーニング手法とも高い競争力を維持している。いくつかの大規模言語モデル（LLM）に適用した結果、ReplaceMeは最大25%のプルーニングを達成し、オープンベンチマークにおいて元のモデルの性能の約90%を保持した。これは、トレーニングやヒーリングステップを一切必要とせず、最小限の計算オーバーヘッドで実現されている（図1参照）。我々は、ReplaceMeとともにいくつかの最先端の深さプルーニング技術を実装したオープンソースライブラリを提供しており、このリポジトリで利用可能である。

English

We introduce ReplaceMe, a generalized training-free depth pruning method that effectively replaces transformer blocks with a linear operation, while maintaining high performance for low compression ratios. In contrast to conventional pruning approaches that require additional training or fine-tuning, our approach requires only a small calibration dataset that is used to estimate a linear transformation to approximate the pruned blocks. This estimated linear mapping can be seamlessly merged with the remaining transformer blocks, eliminating the need for any additional network parameters. Our experiments show that ReplaceMe consistently outperforms other training-free approaches and remains highly competitive with state-of-the-art pruning methods that involve extensive retraining/fine-tuning and architectural modifications. Applied to several large language models (LLMs), ReplaceMe achieves up to 25% pruning while retaining approximately 90% of the original model's performance on open benchmarks - without any training or healing steps, resulting in minimal computational overhead (see Fig.1). We provide an open-source library implementing ReplaceMe alongside several state-of-the-art depth pruning techniques, available at this repository.