BiCA : Récupération dense biomédicale efficace avec des négatifs durs prenant en compte les citations

BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives

November 11, 2025

papers.authors: Aarush Sinha, Pavan Kumar S, Roshan Balaji, Nirav Pravinbhai Bhatt

cs.AI

papers.abstract

Les négatifs difficiles sont essentiels pour l'entraînement de modèles de recherche efficaces. L'extraction de négatifs difficiles repose généralement sur le classement de documents à l'aide de cross-encoders ou de modèles d'embedding statiques basés sur des métriques de similarité telles que la distance cosinus. L'extraction de négatifs difficiles devient problématique dans les domaines biomédicaux et scientifiques en raison de la difficulté à distinguer les documents sources des négatifs difficiles. Cependant, les documents cités partagent naturellement une pertinence contextuelle avec le document source sans en être des doublons, ce qui les rend bien adaptés comme négatifs difficiles. Dans ce travail, nous proposons BiCA : Recherche Dense Biomédicale avec Négatifs Difficiles Sensibles aux Citations, une approche d'extraction de négatifs difficiles utilisant les liens de citation dans 20 000 articles PubMed pour améliorer un petit retrieveur dense spécifique au domaine. Nous affinons les modèles GTE_small et GTE_Base en utilisant ces négatifs éclairés par les citations et observons des améliorations constantes en recherche dense zero-shot utilisant nDCG@10 pour des tâches intra-domaine et extra-domaine sur BEIR, surpassant les lignes de base sur les sujets à queue longue dans LoTTE en utilisant Success@5. Nos résultats soulignent le potentiel de l'exploitation de la structure des liens documentaires pour générer des négatifs hautement informatifs, permettant des performances de pointe avec un affinage minimal et démontrant une voie vers une adaptation de domaine très économe en données.

English

Hard negatives are essential for training effective retrieval models. Hard-negative mining typically relies on ranking documents using cross-encoders or static embedding models based on similarity metrics such as cosine distance. Hard negative mining becomes challenging for biomedical and scientific domains due to the difficulty in distinguishing between source and hard negative documents. However, referenced documents naturally share contextual relevance with the source document but are not duplicates, making them well-suited as hard negatives. In this work, we propose BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, an approach for hard-negative mining by utilizing citation links in 20,000 PubMed articles for improving a domain-specific small dense retriever. We fine-tune the GTE_small and GTE_Base models using these citation-informed negatives and observe consistent improvements in zero-shot dense retrieval using nDCG@10 for both in-domain and out-of-domain tasks on BEIR and outperform baselines on long-tailed topics in LoTTE using Success@5. Our findings highlight the potential of leveraging document link structure to generate highly informative negatives, enabling state-of-the-art performance with minimal fine-tuning and demonstrating a path towards highly data-efficient domain adaptation.