FROST: Filtern von Denkausreißern mit Aufmerksamkeit für effizientes Schließen
FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
January 26, 2026
papers.authors: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar
cs.AI
papers.abstract
Wir stellen FROST vor, eine aufmerksamkeitsbasierte Methode für effizientes Reasoning. Im Gegensatz zu traditionellen Ansätzen nutzt FROST Aufmerksamkeitsgewichte, um unbedeutende Reasoning-Pfade auszusortieren, was kürzere und zuverlässigere Reasoning-Trajektorien ergibt. Methodisch führen wir das Konzept der Reasoning-Ausreißer ein und entwerfen einen aufmerksamkeitsbasierten Mechanismus zu deren Entfernung. Theoretisch bewahrt und verbessert FROST die Reasoning-Fähigkeit des Modells, während Ausreißer auf Satzebene eliminiert werden. Empirisch validieren wir FROST anhand von vier Benchmarks mit zwei leistungsstarken Reasoning-Modellen (Phi-4-Reasoning und GPT-OSS-20B) und übertreffen state-of-the-art Methoden wie TALE und ThinkLess. Bemerkenswerterweise erzielt FROST eine durchschnittliche Reduktion der Token-Nutzung um 69,68 % und eine Steigerung der Genauigkeit um 26,70 % gegenüber dem Basismodell. Darüber hinaus reduziert FROST in Bewertungen von Aufmerksamkeits-Ausreißer-Metriken die maximale Infinity-Norm um 15,97 % und die durchschnittliche Kurtosis um 91,09 % im Vergleich zum Basismodell. Code ist verfügbar unter https://github.com/robinzixuan/FROST.
English
We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST