Ottimizzare ciò che conta: Apprendimento guidato dall'AUC per il recupero neurale robusto

Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval

September 30, 2025

Autori: Nima Sheikholeslami, Erfan Hosseini, Patrice Bechard, Srivatsava Daruru, Sai Rajeswar

cs.AI

Abstract

I retriever a doppio encoder si basano sul principio secondo cui i documenti rilevanti dovrebbero ottenere un punteggio più alto rispetto a quelli irrilevanti per una determinata query. Tuttavia, l'obiettivo dominante di Noise Contrastive Estimation (NCE), che sostiene la Contrastive Loss, ottimizza un surrogato di ranking ammorbidito che dimostriamo rigorosamente essere fondamentalmente insensibile alla qualità della separazione dei punteggi e non correlato all'AUC. Questa discrepanza porta a una scarsa calibrazione e a prestazioni subottimali in compiti downstream come la generazione aumentata da recupero (RAG). Per affrontare questa limitazione fondamentale, introduciamo la MW loss, un nuovo obiettivo di addestramento che massimizza la statistica U di Mann-Whitney, che è matematicamente equivalente all'Area sotto la Curva ROC (AUC). La MW loss incoraggia ogni coppia positivo-negativo a essere correttamente ordinata minimizzando l'entropia incrociata binaria sulle differenze di punteggio. Forniamo garanzie teoriche che la MW loss delimita direttamente l'AoC, allineando meglio l'ottimizzazione con gli obiettivi di recupero. Promuoviamo inoltre le curve ROC e l'AUC come diagnostiche naturali prive di soglia per valutare la calibrazione e la qualità del ranking dei retriever. Empiricamente, i retriever addestrati con la MW loss superano costantemente le controparti contrastive in termini di AUC e metriche di recupero standard. I nostri esperimenti dimostrano che la MW loss è un'alternativa empiricamente superiore alla Contrastive Loss, producendo retriever meglio calibrati e più discriminativi per applicazioni ad alto rischio come la RAG.

English

Dual-encoder retrievers depend on the principle that relevant documents should score higher than irrelevant ones for a given query. Yet the dominant Noise Contrastive Estimation (NCE) objective, which underpins Contrastive Loss, optimizes a softened ranking surrogate that we rigorously prove is fundamentally oblivious to score separation quality and unrelated to AUC. This mismatch leads to poor calibration and suboptimal performance in downstream tasks like retrieval-augmented generation (RAG). To address this fundamental limitation, we introduce the MW loss, a new training objective that maximizes the Mann-Whitney U statistic, which is mathematically equivalent to the Area under the ROC Curve (AUC). MW loss encourages each positive-negative pair to be correctly ranked by minimizing binary cross entropy over score differences. We provide theoretical guarantees that MW loss directly upper-bounds the AoC, better aligning optimization with retrieval goals. We further promote ROC curves and AUC as natural threshold free diagnostics for evaluating retriever calibration and ranking quality. Empirically, retrievers trained with MW loss consistently outperform contrastive counterparts in AUC and standard retrieval metrics. Our experiments show that MW loss is an empirically superior alternative to Contrastive Loss, yielding better-calibrated and more discriminative retrievers for high-stakes applications like RAG.