Apprendimento di Politiche di Astensione Conformi per la Gestione Adattiva del Rischio in Modelli di Linguaggio e Modelli di Linguaggio e Visione di Grandi Dimensioni

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Autori: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Abstract

I modelli di linguaggio estesi e i modelli di visione-linguaggio (LLM/VLM) vengono sempre più utilizzati nelle applicazioni critiche per la sicurezza, tuttavia la loro decision-making opaca complica la valutazione del rischio e l'affidabilità. La quantificazione dell'incertezza (UQ) aiuta a valutare la fiducia nelle previsioni e consente di astenersi quando l'incertezza è elevata. La predizione conforme (CP), un metodo UQ di spicco, fornisce garanzie statistiche ma si basa su soglie statiche, che non si adattano alla complessità del compito e alle distribuzioni dei dati in evoluzione, portando a compromessi subottimali in termini di accuratezza, copertura e informatività. Per affrontare questo problema, proponiamo l'astensione conforme apprendibile, integrando il reinforcement learning (RL) con CP per ottimizzare dinamicamente le soglie di astensione. Trattando le soglie di CP come azioni adattive, il nostro approccio bilancia diversi obiettivi, riducendo le dimensioni dell'insieme di previsione mantenendo una copertura affidabile. Valutazioni approfondite su diversi benchmark LLM/VLM mostrano che il nostro metodo supera i Classificatori Meno Ambigui (LAC) e gli Insiemi di Previsione Adattivi (APS), migliorando l'accuratezza fino al 3.2%, aumentando l'AUROC per la rilevazione di allucinazioni del 22.19%, potenziando la generazione selettiva guidata dall'incertezza (AUARC) del 21.17%, e riducendo l'errore di calibrazione del 70%-85%. Questi miglioramenti si mantengono su diversi modelli e set di dati, rispettando costantemente l'obiettivo di copertura del 90%, stabilendo il nostro approccio come una soluzione più efficace e flessibile per il decision-making affidabile nelle applicazioni critiche per la sicurezza. Il codice è disponibile su: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.