GAPrune: Gradient-Uitlijning Pruning voor Domeinbewuste Embeddings

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

Auteurs: Yixuan Tang, Yi Yang

cs.AI

Samenvatting

Domeinspecifieke embeddingmodellen hebben veelbelovende resultaten getoond voor toepassingen die gespecialiseerd semantisch begrip vereisen, zoals coderingsagenten en financiële retrievalsystemen, waarbij ze vaak hogere prestatieverbeteringen behalen dan algemene modellen. State-of-the-art embeddingmodellen zijn echter meestal gebaseerd op LLM's (Large Language Models), die miljarden parameters bevatten, wat implementatie in omgevingen met beperkte middelen uitdagend maakt. Modelcompressie door pruning biedt een veelbelovende oplossing, maar bestaande pruningmethoden behandelen alle parameters uniform, zonder onderscheid te maken tussen algemene semantische representaties en domeinspecifieke patronen, wat leidt tot suboptimale pruningbeslissingen. Daarom stellen we GAPrune voor, een pruningframework dat deze uitdaging aanpakt door zowel domeinbelang als het behoud van een algemene linguïstische basis in overweging te nemen. Onze methode gebruikt Fisher-informatie om het belang te meten en alignering van gradiënten in het algemene domein om parametergedrag te beoordelen, en combineert deze signalen met behulp van onze Domain Alignment Importance (DAI)-score. Lagere DAI-scores geven aan dat de parameter minder belangrijk is voor de domeintaak of conflicten creëert tussen domein- en algemene doelstellingen. Experimenten op twee domeinbenchmarks, FinMTEB en ChemTEB, laten zien dat GAPrune de prestaties binnen 2,5% van dichte modellen behoudt bij one-shot pruning met 50% sparsity, terwijl het alle baseline-methoden overtreft. Met hertraining in 100 stappen behaalt GAPrune een verbetering van +4,51% op FinMTEB en +1,73% op ChemTEB, wat aantoont dat onze pruningstrategie niet alleen domeinspecifieke capaciteiten behoudt, maar ook versterkt. Onze bevindingen tonen aan dat principiële pruningstrategieën modelcompressie en verbeterde domeinspecialisatie kunnen bereiken, wat de onderzoeksgemeenschap een nieuwe benadering biedt voor ontwikkeling.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.