Exploitation des négatifs difficiles pour la recherche spécifique à un domaine dans les systèmes d'entreprise

Hard Negative Mining for Domain-Specific Retrieval in Enterprise Systems

May 23, 2025

Auteurs: Hansa Meghwani, Amit Agarwal, Priyaranjan Pattnayak, Hitesh Laxmichand Patel, Srikant Panda

cs.AI

Résumé

Les systèmes de recherche d'entreprise rencontrent souvent des difficultés à extraire des informations précises et spécifiques à un domaine en raison d'incompatibilités sémantiques et de terminologies qui se chevauchent. Ces problèmes peuvent dégrader les performances des applications en aval telles que la gestion des connaissances, le support client et les agents de génération assistée par la recherche. Pour relever ce défi, nous proposons un cadre évolutif d'extraction de négatifs difficiles spécifiquement conçu pour les données d'entreprise spécifiques à un domaine. Notre approche sélectionne dynamiquement des documents sémantiquement complexes mais contextuellement non pertinents pour améliorer les modèles de reclassement déployés. Notre méthode intègre divers modèles d'embedding, effectue une réduction de dimensionnalité et sélectionne de manière unique des négatifs difficiles, garantissant ainsi une efficacité computationnelle et une précision sémantique. L'évaluation sur notre corpus d'entreprise propriétaire (domaine des services cloud) démontre des améliorations substantielles de 15 % en MRR@3 et de 19 % en MRR@10 par rapport aux meilleures méthodes de référence et autres techniques d'échantillonnage de négatifs. Une validation supplémentaire sur des ensembles de données publics spécifiques à un domaine (FiQA, Climate Fever, TechQA) confirme la généralisabilité de notre méthode et son aptitude à être déployée dans des applications réelles.

English

Enterprise search systems often struggle to retrieve accurate, domain-specific information due to semantic mismatches and overlapping terminologies. These issues can degrade the performance of downstream applications such as knowledge management, customer support, and retrieval-augmented generation agents. To address this challenge, we propose a scalable hard-negative mining framework tailored specifically for domain-specific enterprise data. Our approach dynamically selects semantically challenging but contextually irrelevant documents to enhance deployed re-ranking models. Our method integrates diverse embedding models, performs dimensionality reduction, and uniquely selects hard negatives, ensuring computational efficiency and semantic precision. Evaluation on our proprietary enterprise corpus (cloud services domain) demonstrates substantial improvements of 15\% in MRR@3 and 19\% in MRR@10 compared to state-of-the-art baselines and other negative sampling techniques. Further validation on public domain-specific datasets (FiQA, Climate Fever, TechQA) confirms our method's generalizability and readiness for real-world applications.