Lernen konformer Zurückhaltungsrichtlinien für adaptives Risikomanagement in großen Sprach- und Sprachbildmodellen

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Autoren: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Zusammenfassung

Große Sprach- und Bild-Sprach-Modelle (LLMs/VLMs) werden zunehmend in sicherheitskritischen Anwendungen eingesetzt, jedoch erschwert ihre undurchsichtige Entscheidungsfindung die Risikobewertung und Zuverlässigkeit. Die Unsicherheitsquantifizierung (UQ) hilft dabei, die Vorhersagegenauigkeit zu bewerten und ermöglicht Enthaltung, wenn die Unsicherheit hoch ist. Konformale Vorhersage (CP), eine führende UQ-Methode, bietet statistische Garantien, basiert jedoch auf statischen Schwellenwerten, die sich nicht an die Aufgabekomplexität und sich verändernde Datenverteilungen anpassen und zu suboptimalen Kompromissen bei Genauigkeit, Abdeckung und Informativität führen. Um dies zu lösen, schlagen wir erlernbare konforme Enthaltung vor, indem wir Verstärkendes Lernen (RL) mit CP integrieren, um Enthaltungsschwellenwerte dynamisch zu optimieren. Indem wir CP-Schwellenwerte als anpassungsfähige Aktionen behandeln, gleicht unser Ansatz mehrere Ziele aus, minimiert die Größe des Vorhersage-Sets und gewährleistet dabei eine zuverlässige Abdeckung. Umfangreiche Bewertungen über verschiedene LLM/VLM-Benchmarks zeigen, dass unsere Methode Least Ambiguous Classifiers (LAC) und Adaptive Prediction Sets (APS) übertrifft, die Genauigkeit um bis zu 3,2% verbessert, die AUROC für die Halluzinationserkennung um 22,19% steigert, die Unsicherheitsgeführte selektive Generierung (AUARC) um 21,17% verbessert und den Kalibrierungsfehler um 70%-85% reduziert. Diese Verbesserungen gelten für verschiedene Modelle und Datensätze, während kontinuierlich das Ziel einer 90%igen Abdeckung erreicht wird, was unseren Ansatz als eine effektivere und flexiblere Lösung für zuverlässige Entscheidungsfindung in sicherheitskritischen Anwendungen etabliert. Der Code ist verfügbar unter: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.