GAPrune: Poda por Alinhamento de Gradiente para Incorporações com Consciência de Domínio

GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

September 13, 2025

Autores: Yixuan Tang, Yi Yang

cs.AI

Resumo

Modelos de incorporação específicos de domínio têm mostrado potencial para aplicações que exigem compreensão semântica especializada, como agentes de codificação e sistemas de recuperação financeira, frequentemente alcançando ganhos de desempenho superiores aos modelos gerais. No entanto, os modelos de incorporação state-of-the-art são tipicamente baseados em LLMs, que contêm bilhões de parâmetros, tornando o desafio de implantação em ambientes com recursos limitados. A compressão de modelos por meio de poda oferece uma solução promissora, mas os métodos de poda existentes tratam todos os parâmetros de forma uniforme, falhando em distinguir entre representações semânticas gerais e padrões específicos de domínio, levando a decisões de poda subótimas. Assim, propomos o GAPrune, uma estrutura de poda que aborda esse desafio considerando tanto a importância do domínio quanto a preservação da base linguística geral. Nosso método utiliza a Informação de Fisher para medir a importância e o alinhamento de gradiente de domínio geral para avaliar o comportamento dos parâmetros, combinando esses sinais usando nossa pontuação de Importância de Alinhamento de Domínio (DAI). Pontuações DAI mais baixas indicam que o parâmetro é menos importante para a tarefa do domínio ou cria conflitos entre os objetivos do domínio e os gerais. Experimentos em dois benchmarks de domínio, FinMTEB e ChemTEB, mostram que o GAPrune mantém o desempenho dentro de 2,5% dos modelos densos em poda one-shot com 50% de esparsidade, enquanto supera todas as baselines. Com retreinamento em 100 passos, o GAPrune alcança uma melhoria de +4,51% no FinMTEB e +1,73% no ChemTEB, demonstrando que nossa estratégia de poda não apenas preserva, mas também aprimora as capacidades específicas do domínio. Nossos achados demonstram que estratégias de poda fundamentadas podem alcançar compressão de modelos e especialização de domínio aprimorada, fornecendo à comunidade de pesquisa uma nova abordagem para o desenvolvimento.

English

Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.