Apprentissage de politiques d'abstention conforme pour la gestion adaptative des risques dans les grands modèles de langage et de vision-langage.

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Auteurs: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Résumé

Les grands modèles de langage et de vision-langage (LLMs/VLMs) sont de plus en plus utilisés dans des applications critiques en termes de sécurité, mais leur processus de prise de décision opaque complique l'évaluation des risques et la fiabilité. La quantification de l'incertitude (UQ) aide à évaluer la confiance des prédictions et permet de s'abstenir lorsque l'incertitude est élevée. La prédiction conforme (CP), une méthode UQ de premier plan, fournit des garanties statistiques mais repose sur des seuils statiques, qui ne s'adaptent pas à la complexité de la tâche et aux distributions de données évolutives, entraînant des compromis sous-optimaux en termes d'exactitude, de couverture et d'informativité. Pour remédier à cela, nous proposons l'abstention conforme apprenable, en intégrant l'apprentissage par renforcement (RL) avec CP pour optimiser dynamiquement les seuils d'abstention. En traitant les seuils CP comme des actions adaptatives, notre approche équilibre plusieurs objectifs, minimisant la taille de l'ensemble de prédictions tout en maintenant une couverture fiable. Des évaluations approfondies sur divers bancs d'essai LLM/VLM montrent que notre méthode surpasse les Classifieurs Moins Ambigus (LAC) et les Ensembles de Prédictions Adaptatifs (APS), améliorant l'exactitude jusqu'à 3,2 %, augmentant l'AUROC pour la détection d'hallucinations de 22,19 %, améliorant la génération sélective guidée par l'incertitude (AUARC) de 21,17 %, et réduisant l'erreur de calibration de 70 % à 85 %. Ces améliorations sont constantes sur plusieurs modèles et ensembles de données tout en respectant systématiquement l'objectif de couverture de 90 %, établissant notre approche comme une solution plus efficace et flexible pour une prise de décision fiable dans des applications critiques en termes de sécurité. Le code est disponible sur : {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.