Влияние направленной выборки для адаптации домена текстовых систем поиска

Influence Guided Sampling for Domain Adaptation of Text Retrievers

January 29, 2026

Авторы: Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

cs.AI

Аннотация

Универсальные системы плотного поиска в открытых доменах обычно обучаются на больших, эклектичных наборах корпусов и поисковых задач. Как следует выбирать эти разнородные корпусы и задачи для обучения? Традиционные подходы предполагают равномерную выборку, выборку пропорционально размерам наборов данных или reliance на экспертные оценки. Хорошо известно, что стратегия выборки обучающих данных может существенно влиять на производительность модели. Однако вопрос поиска оптимальной стратегии недостаточно изучен в контексте моделей эмбеддингов. Мы предлагаем Inf-DDS, новую framework выборки на основе обучения с подкреплением, которая адаптивно перевзвешивает обучающие наборы данных, руководствуясь influence-based reward signals, и является значительно более легкой с точки зрения потребления ресурсов GPU. Наша техника итеративно уточняет политику выборки, отдавая приоритет наборам данных, которые максимизируют производительность модели на целевом development наборе. Мы оцениваем эффективность нашей стратегии выборки на широком спектре задач текстового поиска, демонстрируя значительное улучшение релевантности и лучшую адаптацию по сравнению с существующими gradient-based методами выборки, при одновременном снижении затрат на вычисления на GPU в 1.5–4 раза. Наша стратегия выборки позволяет достичь абсолютного улучшения NDCG@10 на 5.03 пункта при обучении multilingual модели bge-m3 и абсолютного улучшения NDCG@10 на 0.94 пункта при обучении модели all-MiniLM-L6-v2, даже при старте с expert-assigned весов на большом пуле обучающих наборов данных.

English

General-purpose open-domain dense retrieval systems are usually trained with a large, eclectic mix of corpora and search tasks. How should these diverse corpora and tasks be sampled for training? Conventional approaches sample them uniformly, proportional to their instance population sizes, or depend on human-level expert supervision. It is well known that the training data sampling strategy can greatly impact model performance. However, how to find the optimal strategy has not been adequately studied in the context of embedding models. We propose Inf-DDS, a novel reinforcement learning driven sampling framework that adaptively reweighs training datasets guided by influence-based reward signals and is much more lightweight with respect to GPU consumption. Our technique iteratively refines the sampling policy, prioritizing datasets that maximize model performance on a target development set. We evaluate the efficacy of our sampling strategy on a wide range of text retrieval tasks, demonstrating strong improvements in retrieval performance and better adaptation compared to existing gradient-based sampling methods, while also being 1.5x to 4x cheaper in GPU compute. Our sampling strategy achieves a 5.03 absolute NDCG@10 improvement while training a multilingual bge-m3 model and an absolute NDCG@10 improvement of 0.94 while training all-MiniLM-L6-v2, even when starting from expert-assigned weights on a large pool of training datasets.