FROST: Filtraggio degli Outlier di Ragionamento con l'Attenzione per un Ragionamento Efficiente
FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
January 26, 2026
Autori: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar
cs.AI
Abstract
Proponiamo FROST, un metodo basato sull'attenzione per il ragionamento efficiente. A differenza degli approcci tradizionali, FROST sfrutta i pesi dell'attenzione per potare i percorsi di ragionamento non critici, producendo traiettorie di ragionamento più brevi e affidabili. Dal punto di vista metodologico, introduciamo il concetto di outlier di ragionamento e progettiamo un meccanismo basato sull'attenzione per rimuoverli. Teoricamente, FROST preserva e potenzia la capacità di ragionamento del modello eliminando gli outlier a livello di frase. Empiricamente, validiamo FROST su quattro benchmark utilizzando due modelli di ragionamento avanzati (Phi-4-Reasoning e GPT-OSS-20B), superando metodi all'avanguardia come TALE e ThinkLess. In particolare, FROST raggiunge una riduzione media del 69,68% nell'utilizzo di token e un miglioramento del 26,70% nell'accuratezza rispetto al modello base. Inoltre, nelle valutazioni delle metriche sugli outlier dell'attenzione, FROST riduce la norma infinito massima del 15,97% e la curtosi media del 91,09% rispetto al modello base. Il codice è disponibile all'indirizzo https://github.com/robinzixuan/FROST.
English
We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST