GAPrune : Élagage par Alignement du Gradient pour les Représentations Contextuelles

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

papers.authors: Yixuan Tang, Yi Yang

cs.AI

papers.abstract

Les modèles d'embedding spécifiques à un domaine ont montré des résultats prometteurs pour des applications nécessitant une compréhension sémantique spécialisée, telles que les agents de codage et les systèmes de recherche financière, obtenant souvent des gains de performance supérieurs à ceux des modèles généraux. Cependant, les modèles d'embedding de pointe reposent généralement sur des LLM (modèles de langage de grande taille), qui contiennent des milliards de paramètres, rendant leur déploiement difficile dans des environnements aux ressources limitées. La compression de modèles par élagage offre une solution prometteuse, mais les méthodes d'élagage existantes traitent tous les paramètres de manière uniforme, sans distinguer entre les représentations sémantiques générales et les motifs spécifiques au domaine, ce qui conduit à des décisions d'élagage sous-optimales. Ainsi, nous proposons GAPrune, un cadre d'élagage qui relève ce défi en tenant compte à la fois de l'importance du domaine et de la préservation des fondations linguistiques générales. Notre méthode utilise l'information de Fisher pour mesurer l'importance et l'alignement des gradients dans le domaine général pour évaluer le comportement des paramètres, puis combine ces signaux à l'aide de notre score d'importance d'alignement de domaine (DAI). Les scores DAI plus faibles indiquent que le paramètre est soit moins important pour la tâche du domaine, soit qu'il crée des conflits entre les objectifs du domaine et les objectifs généraux. Les expériences sur deux benchmarks de domaine, FinMTEB et ChemTEB, montrent que GAPrune maintient une performance à moins de 2,5 % des modèles denses lors d'un élagage en une étape à 50 % de sparsité, tout en surpassant toutes les méthodes de référence. Avec un réentraînement en 100 étapes, GAPrune obtient une amélioration de +4,51 % sur FinMTEB et de +1,73 % sur ChemTEB, démontrant que notre stratégie d'élagage non seulement préserve mais améliore les capacités spécifiques au domaine. Nos résultats montrent que des stratégies d'élagage fondées sur des principes peuvent atteindre à la fois la compression de modèles et une spécialisation de domaine accrue, offrant à la communauté de recherche une nouvelle approche pour le développement.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.