大規模言語およびビジョン-言語モデルにおいて適応リスク管理のための適合性棄却ポリシーの学習

Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

February 8, 2025

著者: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

要旨

大規模言語モデルおよびビジョン-言語モデル（LLMs/VLMs）は、安全性に関わるアプリケーションでますます使用されていますが、その不透明な意思決定はリスク評価と信頼性を複雑化させます。不確実性の定量化（UQ）は、予測の信頼度を評価し、不確実性が高い場合には棄却を可能にします。主要なUQ手法である適合性予測（CP）は、統計的な保証を提供しますが、静的な閾値に依存しており、タスクの複雑さやデータ分布の変化に適応できず、精度、カバレッジ、情報量のトレードオフが最適でなくなります。この課題に対処するために、我々は学習可能な適合性棄却を提案し、強化学習（RL）をCPと統合して棄却の閾値を動的に最適化します。CPの閾値を適応的なアクションとして扱うことで、我々の手法は複数の目的をバランスし、予測セットのサイズを最小限に抑えながら信頼性のあるカバレッジを維持します。多様なLLM/VLMベンチマークを通じた包括的な評価により、我々の手法が最も明確な分類器（LAC）および適応的予測セット（APS）を上回り、精度を最大3.2%向上させ、幻覚検出のためのAUROCを22.19%向上させ、不確実性に基づく選択的生成（AUARC）を21.17%向上させ、キャリブレーションエラーを70%〜85%削減します。これらの改善は、複数のモデルとデータセットにわたって一貫して90%のカバレッジ目標を達成しながら成立し、安全性に関わるアプリケーションにおける信頼性のある意思決定のためのより効果的かつ柔軟なソリューションとして我々の手法を確立します。コードはこちらで入手可能です：{https://github.com/sinatayebati/vlm-uncertainty}。

English

Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.