Muestreo Guiado por Influencia para la Adaptación de Dominio en Recuperadores de Texto

Influence Guided Sampling for Domain Adaptation of Text Retrievers

January 29, 2026

Autores: Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

cs.AI

Resumen

Los sistemas de recuperación densa de propósito general y dominio abierto suelen entrenarse con una amplia y ecléctica mezcla de corpus y tareas de búsqueda. ¿Cómo deben muestrearse estos diversos corpus y tareas para el entrenamiento? Los enfoques convencionales los muestrean de manera uniforme, de forma proporcional al tamaño de sus poblaciones de instancias, o dependen de supervisión experta a nivel humano. Es bien sabido que la estrategia de muestreo de los datos de entrenamiento puede afectar enormemente el rendimiento del modelo. Sin embargo, cómo encontrar la estrategia óptima no ha sido estudiado adecuadamente en el contexto de los modelos de embeddings. Proponemos Inf-DDS, un novedoso marco de muestreo basado en aprendizaje por refuerzo que repondera adaptativamente los conjuntos de datos de entrenamiento guiado por señales de recompensa basadas en influencia y que es mucho más ligero en cuanto al consumo de GPU. Nuestra técnica refina iterativamente la política de muestreo, priorizando los conjuntos de datos que maximizan el rendimiento del modelo en un conjunto de desarrollo objetivo. Evaluamos la eficacia de nuestra estrategia de muestreo en una amplia gama de tareas de recuperación de texto, demostrando fuertes mejoras en el rendimiento de recuperación y una mejor adaptación en comparación con los métodos de muestreo basados en gradientes existentes, además de ser entre 1.5x y 4x más económica en cómputo de GPU. Nuestra estrategia de muestreo logra una mejora absoluta de 5.03 en NDCG@10 al entrenar el modelo multilingüe bge-m3 y una mejora absoluta de 0.94 en NDCG@10 al entrenar all-MiniLM-L6-v2, incluso partiendo de pesos asignados por expertos en un gran grupo de conjuntos de datos de entrenamiento.

English

General-purpose open-domain dense retrieval systems are usually trained with a large, eclectic mix of corpora and search tasks. How should these diverse corpora and tasks be sampled for training? Conventional approaches sample them uniformly, proportional to their instance population sizes, or depend on human-level expert supervision. It is well known that the training data sampling strategy can greatly impact model performance. However, how to find the optimal strategy has not been adequately studied in the context of embedding models. We propose Inf-DDS, a novel reinforcement learning driven sampling framework that adaptively reweighs training datasets guided by influence-based reward signals and is much more lightweight with respect to GPU consumption. Our technique iteratively refines the sampling policy, prioritizing datasets that maximize model performance on a target development set. We evaluate the efficacy of our sampling strategy on a wide range of text retrieval tasks, demonstrating strong improvements in retrieval performance and better adaptation compared to existing gradient-based sampling methods, while also being 1.5x to 4x cheaper in GPU compute. Our sampling strategy achieves a 5.03 absolute NDCG@10 improvement while training a multilingual bge-m3 model and an absolute NDCG@10 improvement of 0.94 while training all-MiniLM-L6-v2, even when starting from expert-assigned weights on a large pool of training datasets.