Aprendizado de Políticas de Abstenção Conformais para Gestão de Riscos Adaptativa em Modelos de Linguagem e Visão-Linguagem de Grande Escala

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Autores: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Resumo

Modelos de Linguagem de Grande Escala e Modelos de Visão-Linguagem (LLMs/VLMs) estão sendo cada vez mais utilizados em aplicações críticas para a segurança, mas sua tomada de decisão opaca complica a avaliação de riscos e a confiabilidade. A quantificação de incerteza (UQ) ajuda a avaliar a confiança das previsões e permite a abstenção quando a incerteza é alta. A previsão conformal (CP), um método líder em UQ, oferece garantias estatísticas, mas depende de limiares estáticos, que não se adaptam à complexidade da tarefa e às distribuições de dados em evolução, resultando em trade-offs subótimos em precisão, cobertura e informatividade. Para resolver isso, propomos a abstenção conformal aprendível, integrando aprendizado por reforço (RL) com CP para otimizar dinamicamente os limiares de abstenção. Ao tratar os limiares de CP como ações adaptativas, nossa abordagem equilibra múltiplos objetivos, minimizando o tamanho do conjunto de previsões enquanto mantém uma cobertura confiável. Avaliações extensas em diversos benchmarks de LLM/VLM mostram que nosso método supera os Classificadores Menos Ambíguos (LAC) e os Conjuntos de Previsão Adaptativos (APS), melhorando a precisão em até 3,2%, aumentando a AUROC para detecção de alucinações em 22,19%, aprimorando a geração seletiva guiada por incerteza (AUARC) em 21,17% e reduzindo o erro de calibração em 70%-85%. Essas melhorias são consistentes em múltiplos modelos e conjuntos de dados, mantendo consistentemente o objetivo de cobertura de 90%, estabelecendo nossa abordagem como uma solução mais eficaz e flexível para tomada de decisão confiável em aplicações críticas para a segurança. O código está disponível em: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.