FROST: 주의 기반 효율적 추론을 위한 추론 이상치 필터링

초록

우리는 효율적인 추론을 위한 주의 기반 방법론인 FROST를 제안한다. 기존 접근법과 달리 FROST는 주의 가중치를 활용하여 중요하지 않은 추론 경로를 제거함으로써 더 짧고 신뢰할 수 있는 추론 궤적을 생성한다. 방법론적으로 우리는 추론 이상치 개념을 도입하고 이를 제거하기 위한 주의 기반 메커니즘을 설계하였다. 이론적으로 FROST는 문장 수준에서 이상치를 제거하면서도 모델의 추론 능력을 보존하고 강화한다. 실험적으로 우리는 두 가지 강력한 추론 모델(Phi-4-Reasoning 및 GPT-OSS-20B)을 사용하여 4개 벤치마크에서 FROST를 검증하였으며, TALE 및 ThinkLess와 같은 최신 방법론들을 능가하는 성능을 확인하였다. 특히 FROST는 기본 모델 대비 토큰 사용량을 평균 69.68% 절감하고 정확도를 26.70% 향상시켰다. 더 나아가 주의 이상치 지표 평가에서 FROST는 기본 모델 대비 최대 무한대 노름을 15.97% 감소시키고 평균 첨도를 91.09% 개선하였다. 코드는 https://github.com/robinzixuan/FROST에서 확인할 수 있다.

English

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST

FROST: 주의 기반 효율적 추론을 위한 추론 이상치 필터링

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

초록

Support