Optimización de lo que Importa: Aprendizaje Basado en AUC para Recuperación Neuronal Robusta

Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval

September 30, 2025

Autores: Nima Sheikholeslami, Erfan Hosseini, Patrice Bechard, Srivatsava Daruru, Sai Rajeswar

cs.AI

Resumen

Los recuperadores de doble codificador se basan en el principio de que los documentos relevantes deberían obtener puntuaciones más altas que los irrelevantes para una consulta dada. Sin embargo, el objetivo dominante de Estimación de Contraste de Ruido (NCE, por sus siglas en inglés), que sustenta la Pérdida de Contraste, optimiza un sustituto de clasificación suavizado que demostramos rigurosamente que es fundamentalmente indiferente a la calidad de la separación de puntuaciones y no está relacionado con el AUC (Área bajo la Curva ROC). Esta discrepancia conduce a una mala calibración y un rendimiento subóptimo en tareas posteriores como la generación aumentada por recuperación (RAG, por sus siglas en inglés). Para abordar esta limitación fundamental, introducimos la pérdida MW, un nuevo objetivo de entrenamiento que maximiza el estadístico U de Mann-Whitney, que es matemáticamente equivalente al Área bajo la Curva ROC (AUC). La pérdida MW fomenta que cada par positivo-negativo se clasifique correctamente al minimizar la entropía cruzada binaria sobre las diferencias de puntuación. Proporcionamos garantías teóricas de que la pérdida MW acota superiormente directamente el AoC (Área bajo la Curva de Calibración), alineando mejor la optimización con los objetivos de recuperación. Además, promovemos las curvas ROC y el AUC como diagnósticos naturales libres de umbrales para evaluar la calibración y la calidad de clasificación de los recuperadores. Empíricamente, los recuperadores entrenados con la pérdida MW superan consistentemente a sus contrapartes de contraste en AUC y en métricas estándar de recuperación. Nuestros experimentos muestran que la pérdida MW es una alternativa empíricamente superior a la Pérdida de Contraste, produciendo recuperadores mejor calibrados y más discriminativos para aplicaciones de alto impacto como RAG.

English

Dual-encoder retrievers depend on the principle that relevant documents should score higher than irrelevant ones for a given query. Yet the dominant Noise Contrastive Estimation (NCE) objective, which underpins Contrastive Loss, optimizes a softened ranking surrogate that we rigorously prove is fundamentally oblivious to score separation quality and unrelated to AUC. This mismatch leads to poor calibration and suboptimal performance in downstream tasks like retrieval-augmented generation (RAG). To address this fundamental limitation, we introduce the MW loss, a new training objective that maximizes the Mann-Whitney U statistic, which is mathematically equivalent to the Area under the ROC Curve (AUC). MW loss encourages each positive-negative pair to be correctly ranked by minimizing binary cross entropy over score differences. We provide theoretical guarantees that MW loss directly upper-bounds the AoC, better aligning optimization with retrieval goals. We further promote ROC curves and AUC as natural threshold free diagnostics for evaluating retriever calibration and ranking quality. Empirically, retrievers trained with MW loss consistently outperform contrastive counterparts in AUC and standard retrieval metrics. Our experiments show that MW loss is an empirically superior alternative to Contrastive Loss, yielding better-calibrated and more discriminative retrievers for high-stakes applications like RAG.