Aprendizaje de Políticas de Abstención Conformes para la Gestión de Riesgos Adaptativa en Modelos de Lenguaje y Modelos de Visión-Lenguaje a Gran Escala

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Autores: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Resumen

Los Modelos de Lenguaje Grande y Modelos de Visión-Lenguaje (LLMs/VLMs) se utilizan cada vez más en aplicaciones críticas para la seguridad, sin embargo, su toma de decisiones opaca complica la evaluación de riesgos y la fiabilidad. La cuantificación de incertidumbre (UQ) ayuda a evaluar la confianza en las predicciones y permite la abstención cuando la incertidumbre es alta. La predicción conforme (CP), un método líder de UQ, proporciona garantías estadísticas pero se basa en umbrales estáticos, que no se adaptan a la complejidad de la tarea y a las distribuciones de datos cambiantes, lo que lleva a compensaciones subóptimas en precisión, cobertura e informatividad. Para abordar esto, proponemos la abstención conforme aprendible, integrando el aprendizaje por refuerzo (RL) con CP para optimizar dinámicamente los umbrales de abstención. Al tratar los umbrales de CP como acciones adaptables, nuestro enfoque equilibra múltiples objetivos, minimizando el tamaño del conjunto de predicciones manteniendo una cobertura fiable. Evaluaciones extensas en diversos benchmarks de LLM/VLM muestran que nuestro método supera a los Clasificadores Menos Ambiguos (LAC) y a los Conjuntos de Predicción Adaptativos (APS), mejorando la precisión hasta un 3.2%, aumentando el AUROC para la detección de alucinaciones en un 22.19%, mejorando la generación selectiva guiada por incertidumbre (AUARC) en un 21.17%, y reduciendo el error de calibración en un 70%-85%. Estas mejoras se mantienen en varios modelos y conjuntos de datos, cumpliendo consistentemente el objetivo de cobertura del 90%, estableciendo nuestro enfoque como una solución más efectiva y flexible para la toma de decisiones fiable en aplicaciones críticas para la seguridad. El código está disponible en: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.