FROST: Filtrado de Valores Atípicos en el Razonamiento mediante Atención para un Razonamiento Eficiente

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

January 26, 2026

Autores: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar

cs.AI

Resumen

Proponemos FROST, un método consciente de la atención para un razonamiento eficiente. A diferencia de los enfoques tradicionales, FROST aprovecha los pesos de atención para podar las rutas de razonamiento no críticas, generando trayectorias de razonamiento más cortas y confiables. Metodológicamente, introducimos el concepto de valores atípicos (*outliers*) en el razonamiento y diseñamos un mecanismo basado en la atención para eliminarlos. Teóricamente, FROST preserva y mejora la capacidad de razonamiento del modelo mientras elimina estos valores atípicos a nivel de oración. Empíricamente, validamos FROST en cuatro benchmarks utilizando dos modelos de razonamiento sólidos (Phi-4-Reasoning y GPT-OSS-20B), superando a métodos de vanguardia como TALE y ThinkLess. Cabe destacar que FROST logra una reducción promedio del 69.68% en el uso de *tokens* y una mejora del 26.70% en la precisión respecto al modelo base. Además, en las evaluaciones de métricas de valores atípicos en la atención, FROST reduce la norma infinito máxima en un 15.97% y la curtosis promedio en un 91.09% en comparación con el modelo base. El código está disponible en https://github.com/robinzixuan/FROST.

English

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST