BiCA: Recuperación Densa Biomédica Eficaz con Negativos Duros Conscientes de las Citas
BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives
November 11, 2025
Autores: Aarush Sinha, Pavan Kumar S, Roshan Balaji, Nirav Pravinbhai Bhatt
cs.AI
Resumen
Los ejemplos negativos difíciles son esenciales para entrenar modelos de recuperación efectivos. La minería de negativos difíciles generalmente se basa en clasificar documentos utilizando codificadores cruzados o modelos de incrustación estáticos basados en métricas de similitud como la distancia coseno. La minería de negativos difíciles se vuelve compleja en dominios biomédicos y científicos debido a la dificultad para distinguir entre el documento fuente y los documentos negativos difíciles. Sin embargo, los documentos referenciados comparten naturalmente relevancia contextual con el documento fuente sin ser duplicados, lo que los hace idóneos como negativos difíciles. En este trabajo, proponemos BiCA: Recuperación Densa Biomédica con Negativos Difíciles Conscientes de Citas, un enfoque para la minería de negativos difíciles que utiliza enlaces de citas en 20,000 artículos de PubMed para mejorar un recuperador denso pequeño específico del dominio. Ajustamos los modelos GTE_small y GTE_Base utilizando estos negativos informados por citas y observamos mejoras consistentes en la recuperación densa zero-shot utilizando nDCG@10 tanto para tareas dentro del dominio como fuera del dominio en BEIR, superando los baselines en temas de cola larga en LoTTE usando Success@5. Nuestros hallazgos resaltan el potencial de aprovechar la estructura de enlaces entre documentos para generar negativos altamente informativos, permitiendo un rendimiento de vanguardia con un ajuste mínimo y demostrando un camino hacia la adaptación de dominio altamente eficiente en datos.
English
Hard negatives are essential for training effective retrieval models. Hard-negative mining typically relies on ranking documents using cross-encoders or static embedding models based on similarity metrics such as cosine distance. Hard negative mining becomes challenging for biomedical and scientific domains due to the difficulty in distinguishing between source and hard negative documents. However, referenced documents naturally share contextual relevance with the source document but are not duplicates, making them well-suited as hard negatives. In this work, we propose BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, an approach for hard-negative mining by utilizing citation links in 20,000 PubMed articles for improving a domain-specific small dense retriever. We fine-tune the GTE_small and GTE_Base models using these citation-informed negatives and observe consistent improvements in zero-shot dense retrieval using nDCG@10 for both in-domain and out-of-domain tasks on BEIR and outperform baselines on long-tailed topics in LoTTE using Success@5. Our findings highlight the potential of leveraging document link structure to generate highly informative negatives, enabling state-of-the-art performance with minimal fine-tuning and demonstrating a path towards highly data-efficient domain adaptation.