FROST: Filteren van Redeneeruitbijters met Aandacht voor Efficiënt Redeneren
FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
January 26, 2026
Auteurs: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar
cs.AI
Samenvatting
Wij stellen FROST voor, een aandacht-geware methode voor efficiënte redeneervaardigheid. In tegenstelling tot traditionele benaderingen benut FROST aandachtgewichten om onkritieke redeneerpaden uit te dunnen, wat kortere en betrouwbaardere redeneertrajectoren oplevert. Methodologisch introduceren we het concept van redeneeruitbijters en ontwerpen we een op aandacht gebaseerd mechanisme om deze te verwijderen. Theoretisch behoudt en versterkt FROST de redeneercapaciteit van het model terwijl het uitbijters op zinsniveau elimineert. Empirisch valideren we FROST op vier ijkpunten met twee sterke redeneermodellen (Phi-4-Reasoning en GPT-OSS-20B), waarbij het state-of-the-art methoden zoals TALE en ThinkLess overtreft. Opmerkelijk is dat FROST een gemiddelde reductie van 69,68% in tokengebruik en een verbetering van 26,70% in nauwkeurigheid bereikt ten opzichte van het basismodel. Bovendien reduceert FROST in evaluaties van aandacht-uitbijtermetrieken de maximale oneindigheidsnorm met 15,97% en de gemiddelde kurtosis met 91,09% vergeleken met het basismodel. Code is beschikbaar op https://github.com/robinzixuan/FROST.
English
We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST