FROST: Фильтрация выбросов в рассуждениях с помощью механизма внимания для эффективного логического вывода

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

January 26, 2026

Авторы: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar

cs.AI

Аннотация

Мы предлагаем FROST — метод эффективного логического вывода, учитывающий механизм внимания. В отличие от традиционных подходов, FROST использует веса внимания для отсечения малозначимых путей рассуждения, что позволяет получать более короткие и надежные траектории reasoning. С методологической точки зрения мы вводим концепцию выбросов в рассуждениях и разрабатываем механизм на основе внимания для их устранения. Теоретически FROST сохраняет и усиливает способность модели к логическому выводу, одновременно устраняя выбросы на уровне предложений. Эмпирически мы проверяем эффективность FROST на четырех бенчмарках с использованием двух мощных моделей логического вывода (Phi-4-Reasoning и GPT-OSS-20B), превосходя современные методы, такие как TALE и ThinkLess. Примечательно, что FROST демонстрирует среднее сокращение использования токенов на 69,68% и улучшение точности на 26,70% по сравнению с базовой моделью. Кроме того, в оценках метрик выбросов внимания FROST снижает максимальную infinity-норму на 15,97% и средний эксцесс на 91,09% по сравнению с базовой моделью. Код доступен по адресу https://github.com/robinzixuan/FROST.

English

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST