FROST: Filtragem de Outliers de Raciocínio com Atenção para Raciocínio Eficiente
FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
January 26, 2026
Autores: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar
cs.AI
Resumo
Propomos o FROST, um método consciente da atenção (*attention-aware*) para raciocínio eficiente. Diferente das abordagens tradicionais, o FROST aproveita os pesos de atenção para podar caminhos de raciocínio não críticos, resultando em trajetórias de raciocínio mais curtas e confiáveis. Metodologicamente, introduzimos o conceito de *outliers* de raciocínio e projetamos um mecanismo baseado em atenção para removê-los. Teoricamente, o FROST preserva e amplia a capacidade de raciocínio do modelo, ao mesmo tempo que elimina *outliers* ao nível da sentença. Empiricamente, validamos o FROST em quatro *benchmarks* utilizando dois modelos de raciocínio robustos (Phi-4-Reasoning e GPT-OSS-20B), superando métodos state-of-the-art como TALE e ThinkLess. Notavelmente, o FROST alcança uma redução média de 69,68% no uso de *tokens* e uma melhoria de 26,70% na precisão em relação ao modelo base. Adicionalmente, em avaliações de métricas de *outliers* de atenção, o FROST reduz a norma do infinito máxima em 15,97% e a curtose média em 91,09% comparado ao modelo base. O código está disponível em https://github.com/robinzixuan/FROST.
English
We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST