Het aanleren van Conformele Onthoudingsbeleid voor Adaptief Risicobeheer in Grote Taal- en Visie-Taalmodellen

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Auteurs: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Samenvatting

Grote Taal- en Visie-Taalmodellen (LLM's/VLM's) worden steeds vaker gebruikt in veiligheidskritieke toepassingen, maar hun ondoorzichtige besluitvorming bemoeilijkt risicobeoordeling en betrouwbaarheid. Onzekerheidskwantificatie (UQ) helpt bij het beoordelen van voorspellingsvertrouwen en maakt onthouding mogelijk wanneer de onzekerheid hoog is. Conformele voorspelling (CP), een toonaangevende UQ-methode, biedt statistische garanties maar vertrouwt op statische drempels, die niet kunnen aanpassen aan taakcomplexiteit en evoluerende gegevensverdelingen, wat leidt tot suboptimale afwegingen in nauwkeurigheid, dekking en informativiteit. Om dit aan te pakken, stellen we leerbaar conform onthouding voor, waarbij versterkend leren (RL) wordt geïntegreerd met CP om onthoudingsdrempels dynamisch te optimaliseren. Door CP-drempels te behandelen als aanpasbare acties, balanceert onze aanpak meerdere doelstellingen, waarbij de voorspellingssetgrootte wordt geminimaliseerd terwijl betrouwbare dekking wordt gehandhaafd. Uitgebreide evaluaties over diverse LLM/VLM-benchmarks tonen aan dat onze methode beter presteert dan Minst Ambigue Classificeerders (LAC) en Aanpasbare Voorspellingssets (APS), waarbij de nauwkeurigheid tot 3,2% verbetert, de AUROC voor hallucinatiedetectie met 22,19% stijgt, de onzekerheidsgestuurde selectieve generatie (AUARC) met 21,17% verbetert, en de kalibratiefout met 70%-85% vermindert. Deze verbeteringen gelden voor meerdere modellen en datasets, terwijl consequent wordt voldaan aan het doel van 90% dekking, waarmee onze aanpak wordt gevestigd als een effectievere en flexibelere oplossing voor betrouwbare besluitvorming in veiligheidskritieke toepassingen. De code is beschikbaar op: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.