GAPrune: ドメイン対応埋め込みのための勾配整合性プルーニング

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

著者: Yixuan Tang, Yi Yang

cs.AI

要旨

ドメイン固有の埋め込みモデルは、コーディングエージェントや金融検索システムなど、専門的な意味理解を必要とするアプリケーションにおいて有望な成果を示しており、一般的なモデルよりも高い性能向上を達成することが多い。しかし、最先端の埋め込みモデルは通常、数十億のパラメータを持つ大規模言語モデル（LLM）に基づいており、リソースが制約された環境での展開が困難である。プルーニングによるモデル圧縮は有望な解決策であるが、既存のプルーニング手法はすべてのパラメータを均一に扱い、一般的な意味表現とドメイン固有のパターンを区別できないため、最適でないプルーニング決定につながる。そこで我々は、ドメインの重要性と一般的な言語基盤の保持を考慮することでこの課題に取り組むプルーニングフレームワーク、GAPruneを提案する。本手法では、フィッシャー情報量を用いて重要性を測定し、一般ドメインの勾配アライメントを用いてパラメータの振る舞いを評価し、これらの信号をドメインアライメント重要性（DAI）スコアリングを用いて組み合わせる。低いDAIスコアは、そのパラメータがドメインタスクにおいて重要でないか、ドメインと一般的な目的の間に矛盾を生じさせることを示す。FinMTEBとChemTEBという2つのドメインベンチマークでの実験では、GAPruneが50%のスパース性でのワンショットプルーニングにおいて、密なモデルの性能を2.5%以内に維持し、すべてのベースラインを上回ることを示した。100ステップの再学習では、GAPruneはFinMTEBで+4.51%、ChemTEBで+1.73%の改善を達成し、我々のプルーニング戦略がドメイン固有の能力を保持するだけでなく強化することを実証した。我々の研究結果は、原理に基づいたプルーニング戦略がモデル圧縮とドメイン特化の強化を実現できることを示しており、研究コミュニティに新たな開発アプローチを提供するものである。

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.