CritICL：小型言語モデルの失敗モードに基づく推論時における弱から強への汎化

要旨

近年の推論時スケーリングの進歩により、大規模言語モデル（LLM）の推論性能は大幅に向上した。しかしながら、これらの手法は通常、反復生成または外部検証に依存している。この制限に対処するため、我々は高い効率を維持しながら推論を改善する新しい推論時フレームワークであるCritICLを導入する。我々の重要な洞察は、LLMの失敗モードが同一ファミリー内のモデル規模を横断して構造化されたパターンを示すことである。失敗を望ましくない出力として扱う代わりに、CritICLはそれらをガイダンスの源泉として活用する。具体的には、我々はより弱いモデルから得られた失敗モードを利用し、批判ベースのインコンテキスト例を通じてそれらを推論に組み込む。我々は2つの変種を提案する：入力固有の失敗モードを適応的に予測して批判を検索するCritICL-dynamicと、グローバルな失敗モードプロファイルを使用して安定したガイダンスを提供するCritICL-staticである。実験結果は、CritICLが標準的なインコンテキスト学習を一貫して上回り、テスト時スケーリング手法と同等またはそれ以上の性能を達成しつつ、大幅に少ない生成回数と低いトークンコストで済むことを示している。コードはhttps://github.com/umwyf/CRITICLで入手可能である。

English

Recent advances in inference-time scaling have significantly improved the reasoning performance of large language models (LLMs). However, these methods typically rely on repeated generation or external verification. To address this limitation, we introduce CritICL, a novel inference-time framework that improves reasoning while maintaining high efficiency. Our key insight is that LLM failure modes exhibit structured patterns across model scales within the same family. Instead of treating failures as undesirable outputs, CritICL leverages them as a source of guidance. Specifically, we utilize failure modes derived from weaker models and incorporate them into inference through critique-based in-context examples. We propose two variants: CritICL-dynamic, which adaptively predicts input-specific failure modes and retrieves critiques, and CritICL-static, which uses a global failure mode profile to provide stable guidance. Experimental results show that CritICL consistently outperforms standard in-context learning and achieves performance competitive with or superior to test-time scaling methods, while requiring significantly fewer generations and lower token cost. Code available at: https://github.com/umwyf/CRITICL