BiCA: 引用認識型ハードネガティブを用いた効果的なバイオメディカル密検索
BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives
November 11, 2025
著者: Aarush Sinha, Pavan Kumar S, Roshan Balaji, Nirav Pravinbhai Bhatt
cs.AI
要旨
ハードネガティブは、効果的な検索モデルの訓練に不可欠である。ハードネガティブマイニングは通常、クロスエンコーダーやコサイン距離などの類似度指標に基づく静的な埋め込みモデルを用いて文書をランキングすることに依存している。バイオメディカルや科学分野では、ソース文書とハードネガティブ文書の区別が困難であるため、ハードネガティブマイニングは困難となる。しかし、参照文書はソース文書と文脈的な関連性を自然に共有するが重複はしないため、ハードネガティブとして適している。本研究では、BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negativesを提案する。これは、ドメイン特化の小型密検索モデルを改善するため、20,000件のPubMed記事中の引用リンクを利用したハードネガティブマイニング手法である。GTE_smallおよびGTE_Baseモデルをこれらの引用情報を活用したネガティブでファインチューニングし、BEIRにおけるドメイン内・ドメイン外タスクではnDCG@10を用いたゼロショット密検索で一貫した改善を確認し、LoTTEのロングテールトピックではSuccess@5においてベースラインを上回った。我々の知見は、文書リンク構造を活用して情報量の多いネガティブを生成する可能性を示唆し、最小限のファインチューニングで最先端の性能を実現し、高いデータ効率性を持つドメイン適応への道筋を示している。
English
Hard negatives are essential for training effective retrieval models. Hard-negative mining typically relies on ranking documents using cross-encoders or static embedding models based on similarity metrics such as cosine distance. Hard negative mining becomes challenging for biomedical and scientific domains due to the difficulty in distinguishing between source and hard negative documents. However, referenced documents naturally share contextual relevance with the source document but are not duplicates, making them well-suited as hard negatives. In this work, we propose BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, an approach for hard-negative mining by utilizing citation links in 20,000 PubMed articles for improving a domain-specific small dense retriever. We fine-tune the GTE_small and GTE_Base models using these citation-informed negatives and observe consistent improvements in zero-shot dense retrieval using nDCG@10 for both in-domain and out-of-domain tasks on BEIR and outperform baselines on long-tailed topics in LoTTE using Success@5. Our findings highlight the potential of leveraging document link structure to generate highly informative negatives, enabling state-of-the-art performance with minimal fine-tuning and demonstrating a path towards highly data-efficient domain adaptation.