Обучение конформных политик воздерживания для адаптивного управления рисками в больших моделях языка и моделях видео-языка.

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

Авторы: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

Аннотация

Большие модели языка и модели языка-видео (LLM/VLM) все чаще используются в приложениях, связанных с безопасностью, однако их непрозрачное принятие решений затрудняет оценку рисков и надежности. Количественная оценка неопределенности (UQ) помогает оценить уверенность в прогнозе и позволяет воздерживаться, когда неопределенность высока. Конформальное предсказание (CP), ведущий метод UQ, обеспечивает статистические гарантии, но зависит от статических порогов, которые не адаптируются к сложности задачи и изменяющимся распределениям данных, что приводит к неоптимальным компромиссам в точности, охвате и информативности. Для решения этой проблемы мы предлагаем обучаемое конформальное воздерживание, интегрируя обучение с подкреплением (RL) с CP для оптимизации порогов воздерживания динамически. Обрабатывая пороги CP как адаптивные действия, наш подход балансирует несколько целей, минимизируя размер набора прогнозов, сохраняя надежное покрытие. Обширные оценки на различных бенчмарках LLM/VLM показывают, что наш метод превосходит наименее двусмысленные классификаторы (LAC) и адаптивные наборы прогнозов (APS), улучшая точность до 3,2%, увеличивая AUROC для обнаружения галлюцинаций на 22,19%, улучшая выборочную генерацию на основе неопределенности (AUARC) на 21,17% и снижая ошибку калибровки на 70-85%. Эти улучшения проявляются на различных моделях и наборах данных, при этом надежно достигается цель в 90% покрытия, утверждая наш подход как более эффективное и гибкое решение для надежного принятия решений в приложениях, связанных с безопасностью. Код доступен по ссылке: {https://github.com/sinatayebati/vlm-uncertainty}.

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.