GAPrune: Градиентно-выравнивающее прореживание для доменно-ориентированных эмбеддингов

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

Авторы: Yixuan Tang, Yi Yang

cs.AI

Аннотация

Специализированные модели эмбеддингов показали свою эффективность в приложениях, требующих глубокого семантического понимания, таких как агенты для написания кода и системы финансового поиска, часто достигая более высоких показателей производительности по сравнению с универсальными моделями. Однако современные модели эмбеддингов обычно основаны на крупных языковых моделях (LLM), содержащих миллиарды параметров, что затрудняет их развертывание в условиях ограниченных ресурсов. Сжатие моделей через обрезку предлагает перспективное решение, но существующие методы обрезки обрабатывают все параметры одинаково, не различая общие семантические представления и специфические для домена паттерны, что приводит к неоптимальным решениям. Таким образом, мы предлагаем GAPrune — фреймворк для обрезки, который решает эту проблему, учитывая как важность для домена, так и сохранение общей лингвистической основы. Наш метод использует информацию Фишера для измерения важности и выравнивание градиентов в общем домене для оценки поведения параметров, а затем объединяет эти сигналы с помощью нашей метрики Domain Alignment Importance (DAI). Низкие значения DAI указывают на то, что параметр либо менее важен для задачи домена, либо создает конфликты между доменными и общими целями. Эксперименты на двух доменных бенчмарках, FinMTEB и ChemTEB, показывают, что GAPrune сохраняет производительность в пределах 2,5% от плотных моделей при одноэтапной обрезке с 50% разреженностью, превосходя все базовые методы. При повторном обучении за 100 шагов GAPrune достигает улучшения на +4,51% на FinMTEB и +1,73% на ChemTEB, демонстрируя, что наша стратегия обрезки не только сохраняет, но и усиливает доменную специализацию. Наши результаты показывают, что принципиальные стратегии обрезки могут достигать сжатия моделей и улучшения доменной специализации, предлагая исследовательскому сообществу новый подход для разработки.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.