GAPrune: 도메인 인식 임베딩을 위한 그래디언트 정렬 프루닝

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

저자: Yixuan Tang, Yi Yang

cs.AI

초록

도메인 특화 임베딩 모델은 코딩 에이전트나 금융 검색 시스템과 같이 특수한 의미 이해가 필요한 애플리케이션에서 유망한 성과를 보여주며, 종종 일반 모델보다 더 높은 성능 향상을 달성합니다. 그러나 최첨단 임베딩 모델은 일반적으로 수십억 개의 파라미터를 포함하는 대형 언어 모델(LLM)을 기반으로 하기 때문에, 자원이 제한된 환경에서의 배포가 어려운 문제가 있습니다. 모델 압축을 위한 가지치기(pruning)는 유망한 해결책이지만, 기존의 가지치기 방법들은 모든 파라미터를 동일하게 취급하여 일반적인 의미 표현과 도메인 특화 패턴을 구분하지 못해 최적이 아닌 가지치기 결정을 내리게 됩니다. 따라서 우리는 이 문제를 해결하기 위해 도메인 중요성과 일반 언어 기반을 모두 고려하는 GAPrune이라는 가지치기 프레임워크를 제안합니다. 우리의 방법은 Fisher 정보를 사용하여 중요성을 측정하고, 일반 도메인 그래디언트 정렬을 통해 파라미터의 동작을 평가한 후, 도메인 정렬 중요도(DAI) 점수를 사용하여 이러한 신호를 결합합니다. 낮은 DAI 점수는 해당 파라미터가 도메인 작업에 덜 중요하거나 도메인과 일반 목표 간에 충돌을 일으킨다는 것을 나타냅니다. FinMTEB와 ChemTEB라는 두 가지 도메인 벤치마크에서의 실험 결과, GAPrune은 50% 희소성에서 원샷 가지치기 시 밀집 모델의 성능을 2.5% 이내로 유지하면서 모든 베이스라인을 능가하는 것으로 나타났습니다. 100단계의 재학습을 통해 GAPrune은 FinMTEB에서 +4.51%, ChemTEB에서 +1.73%의 성능 향상을 달성하며, 우리의 가지치기 전략이 도메인 특화 능력을 보존할 뿐만 아니라 강화할 수 있음을 입증했습니다. 이러한 연구 결과는 원칙에 기반한 가지치기 전략이 모델 압축과 도메인 특화 강화를 동시에 달성할 수 있음을 보여주며, 연구 커뮤니티에 새로운 개발 접근법을 제공합니다.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.