GAPrune: Gradient-Ausrichtungs-Beschneidung für domänenbewusste Einbettungen

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

papers.authors: Yixuan Tang, Yi Yang

cs.AI

papers.abstract

Domain-spezifische Embedding-Modelle haben sich für Anwendungen als vielversprechend erwiesen, die ein spezialisiertes semantisches Verständnis erfordern, wie z. B. Coding-Agenten und Finanzretrieval-Systeme, und erzielen oft höhere Leistungssteigerungen als allgemeine Modelle. State-of-the-Art Embedding-Modelle basieren jedoch typischerweise auf LLMs (Large Language Models), die Milliarden von Parametern enthalten, was die Bereitstellung in ressourcenbeschränkten Umgebungen erschwert. Modellkompression durch Pruning bietet eine vielversprechende Lösung, aber bestehende Pruning-Methoden behandeln alle Parameter gleichförmig und unterscheiden nicht zwischen allgemeinen semantischen Repräsentationen und domänenspezifischen Mustern, was zu suboptimalen Pruning-Entscheidungen führt. Daher schlagen wir GAPrune vor, ein Pruning-Framework, das diese Herausforderung adressiert, indem es sowohl die Domänenwichtigkeit als auch die Erhaltung der allgemeinen linguistischen Grundlage berücksichtigt. Unsere Methode verwendet die Fisher-Information, um die Wichtigkeit zu messen, und die Gradientenausrichtung im Allgemeinbereich, um das Parameterverhalten zu bewerten, und kombiniert diese Signale dann mithilfe unseres Domain Alignment Importance (DAI)-Scores. Niedrigere DAI-Scores zeigen an, dass der Parameter entweder weniger wichtig für die Domänenaufgabe ist oder Konflikte zwischen Domänen- und Allgemeinzielen erzeugt. Experimente mit zwei Domänen-Benchmarks, FinMTEB und ChemTEB, zeigen, dass GAPrune die Leistung bei einem One-Shot-Pruning mit 50 % Sparsity innerhalb von 2,5 % der dichten Modelle hält und dabei alle Baselines übertrifft. Mit einem Retraining in 100 Schritten erzielt GAPrune eine Verbesserung von +4,51 % auf FinMTEB und +1,73 % auf ChemTEB, was demonstriert, dass unsere Pruning-Strategie nicht nur domänenspezifische Fähigkeiten erhält, sondern sogar verbessert. Unsere Ergebnisse zeigen, dass prinzipienbasierte Pruning-Strategien sowohl Modellkompression als auch eine verbesserte Domänenspezialisierung erreichen können, und bieten der Forschungsgemeinschaft einen neuen Ansatz für die Entwicklung.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.