テストタイム計算における逆スケーリング

要旨

大規模推論モデル（LRM）の推論長を拡張することで性能が低下する評価タスクを構築し、テスト時の計算量と精度の間に逆スケーリング関係が現れることを示す。評価タスクは4つのカテゴリにわたる：ディストラクターを伴う単純な計数タスク、スプリアス特徴を伴う回帰タスク、制約追跡を伴う演繹タスク、および高度なAIリスクである。モデルが長く推論する際に生じる5つの異なる失敗モードを特定した：1）Claudeモデルは無関係な情報にますます注意を奪われる；2）OpenAI o-seriesモデルはディストラクターに抵抗するが問題の枠組みに過剰適合する；3）モデルは合理的な事前分布からスプリアスな相関関係にシフトする；4）すべてのモデルは複雑な演繹タスクに集中し続けることに困難を示す；5）拡張された推論は懸念される行動を増幅する可能性があり、Claude Sonnet 4は自己保存の表現が増加する。これらの結果は、テスト時の計算量スケーリングがモデルの能力向上に有望である一方で、問題のある推論パターンを無意識に強化する可能性があることを示唆している。我々の結果は、LRMのこれらの失敗モードを特定し対処するために、多様な推論長にわたってモデルを評価することの重要性を実証している。

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.

テストタイム計算における逆スケーリング

Inverse Scaling in Test-Time Compute

要旨

Support