FROST : Filtrage des Valeurs Aberrantes de Raisonnement par l'Attention pour un Raisonnement Efficace

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

January 26, 2026

papers.authors: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar

cs.AI

papers.abstract

Nous proposons FROST, une méthode attentive pour un raisonnement efficace. Contrairement aux approches traditionnelles, FROST exploite les poids d'attention pour élaguer les chemins de raisonnement non critiques, produisant ainsi des trajectoires de raisonnement plus courtes et plus fiables. Sur le plan méthodologique, nous introduisons le concept d'atypiques de raisonnement et concevons un mécanisme basé sur l'attention pour les supprimer. Théoriquement, FROST préserve et améliore la capacité de raisonnement du modèle tout en éliminant les atypiques au niveau de la phrase. Empiriquement, nous validons FROST sur quatre benchmarks en utilisant deux modèles de raisonnement performants (Phi-4-Reasoning et GPT-OSS-20B), surpassant les méthodes de pointe telles que TALE et ThinkLess. Notamment, FROST réalise une réduction moyenne de 69,68 % de l'utilisation de tokens et une amélioration de 26,70 % de la précision par rapport au modèle de base. De plus, dans les évaluations des métriques d'atypiques d'attention, FROST réduit la norme infinie maximale de 15,97 % et l'aplatissement moyen de 91,09 % par rapport au modèle de base. Le code est disponible à l'adresse https://github.com/robinzixuan/FROST.

English

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST