FROST: 注意機構による推論外れ値フィルタリングを用いた効率的な推論

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

January 26, 2026

著者: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar

cs.AI

要旨

本論文では、効率的な推論を実現するための注意機構を活用した手法FROSTを提案する。従来手法とは異なり、FROSTは注意重みを利用して重要度の低い推論経路を刈り込むことで、より短く信頼性の高い推論軌跡を生成する。方法論としては、推論外れ値の概念を導入し、注意機構に基づく除去メカニズムを設計する。理論的には、FROSTは文レベルで外れ値を除去しながらもモデルの推論能力を維持・強化する。実験的には、2つの強力な推論モデル（Phi-4-ReasoningおよびGPT-OSS-20B）を用いた4つのベンチマークで検証し、TALEやThinkLessなどの最新手法を上回る性能を実証した。特に、ベースモデルと比較してトークン使用量を平均69.68%削減し、精度を26.70%向上させた。さらに、注意外れ値メトリクスの評価では、最大無限ノルムを15.97%、平均尖度を91.09%低減させた。コードはhttps://github.com/robinzixuan/FROSTで公開している。

English

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST