BiCA: Effektives biomedizinisches Dense Retrieval mit zitierbewussten Hard Negatives

BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives

November 11, 2025

papers.authors: Aarush Sinha, Pavan Kumar S, Roshan Balaji, Nirav Pravinbhai Bhatt

cs.AI

papers.abstract

Harte Negative sind entscheidend für das Training effektiver Retrieval-Modelle. Das Mining harter Negative stützt sich typischerweise auf das Ranking von Dokumenten mittels Cross-Encodern oder statischen Embedding-Modellen auf Basis von Ähnlichkeitsmetriken wie der Kosinusdistanz. Das Mining harter Negative gestaltet sich in biomedizinischen und wissenschaftlichen Domänen als herausfordernd, da es schwierig ist, zwischen Quell- und hart-negativen Dokumenten zu unterscheiden. Referenzierte Dokumente teilen jedoch natürlicherweise eine kontextuelle Relevanz mit dem Quelldokument, sind aber keine Duplikate, was sie als gut geeignete harte Negative auszeichnet. In dieser Arbeit schlagen wir BiCA vor: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, einen Ansatz für das Mining harter Negative, der Zitationslinks in 20.000 PubMed-Artikeln nutzt, um einen domänenspezifischen, kleinen Dense Retriever zu verbessern. Wir finetunen die Modelle GTE_small und GTE_Base unter Verwendung dieser zitationsbasierten Negative und beobachten konsistente Verbesserungen im Zero-Shot Dense Retrieval, gemessen mit nDCG@10, sowohl für In-Domain- als auch Out-of-Domain-Aufgaben auf BEIR. Zudem übertreffen wir die Baselines bei Long-Tail-Themen in LoTTE, gemessen mit Success@5. Unsere Ergebnisse unterstreichen das Potenzial der Nutzung von Dokumentlinkstrukturen zur Generierung hochinformativer Negative, was state-of-the-art Leistung mit minimalem Finetuning ermöglicht und einen Weg in Richtung einer sehr dateneffizienten Domänenanpassung aufzeigt.

English

Hard negatives are essential for training effective retrieval models. Hard-negative mining typically relies on ranking documents using cross-encoders or static embedding models based on similarity metrics such as cosine distance. Hard negative mining becomes challenging for biomedical and scientific domains due to the difficulty in distinguishing between source and hard negative documents. However, referenced documents naturally share contextual relevance with the source document but are not duplicates, making them well-suited as hard negatives. In this work, we propose BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, an approach for hard-negative mining by utilizing citation links in 20,000 PubMed articles for improving a domain-specific small dense retriever. We fine-tune the GTE_small and GTE_Base models using these citation-informed negatives and observe consistent improvements in zero-shot dense retrieval using nDCG@10 for both in-domain and out-of-domain tasks on BEIR and outperform baselines on long-tailed topics in LoTTE using Success@5. Our findings highlight the potential of leveraging document link structure to generate highly informative negatives, enabling state-of-the-art performance with minimal fine-tuning and demonstrating a path towards highly data-efficient domain adaptation.