Otimizando o que Importa: Aprendizado Orientado por AUC para Recuperação Neural Robusta

Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval

September 30, 2025

Autores: Nima Sheikholeslami, Erfan Hosseini, Patrice Bechard, Srivatsava Daruru, Sai Rajeswar

cs.AI

Resumo

Os recuperadores de codificação dupla dependem do princípio de que documentos relevantes devem ter pontuações mais altas do que os irrelevantes para uma determinada consulta. No entanto, o objetivo dominante de Estimação Contrastiva de Ruído (NCE), que sustenta a Perda Contrastiva, otimiza um substituto de classificação suavizado que comprovamos rigorosamente ser fundamentalmente alheio à qualidade da separação de pontuações e não relacionado à AUC. Essa incompatibilidade leva a uma calibração deficiente e desempenho subótimo em tarefas subsequentes, como geração aumentada por recuperação (RAG). Para abordar essa limitação fundamental, introduzimos a perda MW, um novo objetivo de treinamento que maximiza a estatística U de Mann-Whitney, que é matematicamente equivalente à Área sob a Curva ROC (AUC). A perda MW incentiva que cada par positivo-negativo seja corretamente classificado, minimizando a entropia cruzada binária sobre as diferenças de pontuação. Fornecemos garantias teóricas de que a perda MW limita diretamente o AoC, alinhando melhor a otimização com os objetivos de recuperação. Além disso, promovemos as curvas ROC e a AUC como diagnósticos naturais sem limiar para avaliar a calibração e a qualidade de classificação dos recuperadores. Empiricamente, recuperadores treinados com a perda MW superam consistentemente os equivalentes contrastivos em AUC e métricas padrão de recuperação. Nossos experimentos mostram que a perda MW é uma alternativa empiricamente superior à Perda Contrastiva, resultando em recuperadores melhor calibrados e mais discriminativos para aplicações de alto impacto, como RAG.

English

Dual-encoder retrievers depend on the principle that relevant documents should score higher than irrelevant ones for a given query. Yet the dominant Noise Contrastive Estimation (NCE) objective, which underpins Contrastive Loss, optimizes a softened ranking surrogate that we rigorously prove is fundamentally oblivious to score separation quality and unrelated to AUC. This mismatch leads to poor calibration and suboptimal performance in downstream tasks like retrieval-augmented generation (RAG). To address this fundamental limitation, we introduce the MW loss, a new training objective that maximizes the Mann-Whitney U statistic, which is mathematically equivalent to the Area under the ROC Curve (AUC). MW loss encourages each positive-negative pair to be correctly ranked by minimizing binary cross entropy over score differences. We provide theoretical guarantees that MW loss directly upper-bounds the AoC, better aligning optimization with retrieval goals. We further promote ROC curves and AUC as natural threshold free diagnostics for evaluating retriever calibration and ranking quality. Empirically, retrievers trained with MW loss consistently outperform contrastive counterparts in AUC and standard retrieval metrics. Our experiments show that MW loss is an empirically superior alternative to Contrastive Loss, yielding better-calibrated and more discriminative retrievers for high-stakes applications like RAG.