Optimierung des Wesentlichen: AUC-gesteuertes Lernen für robuste neuronale Retrieval-Systeme

Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval

September 30, 2025

papers.authors: Nima Sheikholeslami, Erfan Hosseini, Patrice Bechard, Srivatsava Daruru, Sai Rajeswar

cs.AI

papers.abstract

Dual-Encoder-Retriever basieren auf dem Prinzip, dass relevante Dokumente für eine gegebene Anfrage höher bewertet werden sollten als irrelevante. Dennoch optimiert das vorherrschende Noise Contrastive Estimation (NCE)-Ziel, das dem Contrastive Loss zugrunde liegt, ein abgeschwächtes Ranking-Surrogat, das, wie wir rigoros beweisen, grundsätzlich unempfindlich gegenüber der Qualität der Bewertungstrennung ist und keinen Bezug zur AUC (Area under the ROC Curve) hat. Diese Diskrepanz führt zu einer schlechten Kalibrierung und suboptimaler Leistung bei nachgelagerten Aufgaben wie retrieval-augmentierter Generierung (RAG). Um diese grundlegende Einschränkung zu überwinden, führen wir den MW-Loss ein, ein neues Trainingsziel, das die Mann-Whitney-U-Statistik maximiert, die mathematisch äquivalent zur AUC ist. Der MW-Loss fördert die korrekte Rangfolge jedes positiven-negativen Paares, indem er die binäre Kreuzentropie über Bewertungsdifferenzen minimiert. Wir liefern theoretische Garantien, dass der MW-Loss die AoC (Area under the Curve) direkt nach oben begrenzt und somit die Optimierung besser mit den Zielen des Retrievals in Einklang bringt. Weiterhin befürworten wir ROC-Kurven und AUC als natürliche, schwellenwertfreie Diagnosewerkzeuge zur Bewertung der Kalibrierung und Ranking-Qualität von Retrievern. Empirisch übertreffen Retriever, die mit dem MW-Loss trainiert wurden, ihre auf Contrastive Loss basierenden Gegenstücke konsistent in Bezug auf AUC und standardmäßige Retrieval-Metriken. Unsere Experimente zeigen, dass der MW-Loss eine empirisch überlegene Alternative zum Contrastive Loss darstellt und besser kalibrierte sowie diskriminativere Retriever für anspruchsvolle Anwendungen wie RAG liefert.

English

Dual-encoder retrievers depend on the principle that relevant documents should score higher than irrelevant ones for a given query. Yet the dominant Noise Contrastive Estimation (NCE) objective, which underpins Contrastive Loss, optimizes a softened ranking surrogate that we rigorously prove is fundamentally oblivious to score separation quality and unrelated to AUC. This mismatch leads to poor calibration and suboptimal performance in downstream tasks like retrieval-augmented generation (RAG). To address this fundamental limitation, we introduce the MW loss, a new training objective that maximizes the Mann-Whitney U statistic, which is mathematically equivalent to the Area under the ROC Curve (AUC). MW loss encourages each positive-negative pair to be correctly ranked by minimizing binary cross entropy over score differences. We provide theoretical guarantees that MW loss directly upper-bounds the AoC, better aligning optimization with retrieval goals. We further promote ROC curves and AUC as natural threshold free diagnostics for evaluating retriever calibration and ranking quality. Empirically, retrievers trained with MW loss consistently outperform contrastive counterparts in AUC and standard retrieval metrics. Our experiments show that MW loss is an empirically superior alternative to Contrastive Loss, yielding better-calibrated and more discriminative retrievers for high-stakes applications like RAG.