CritICL: 소형 언어 모델 실패 모드에서의 추론 시점 약-강 일반화

초록

추론 시간 스케일링의 최근 발전은 대규모 언어 모델(LLM)의 추론 성능을 크게 향상시켰습니다. 그러나 이러한 방법들은 일반적으로 반복 생성이나 외부 검증에 의존합니다. 이러한 한계를 해결하기 위해, 우리는 높은 효율을 유지하면서 추론을 개선하는 새로운 추론 시간 프레임워크인 CritICL을 소개합니다. 우리의 핵심 통찰은 LLM의 실패 모드가 동일 계열 내의 모델 규모에 걸쳐 구조화된 패턴을 나타낸다는 것입니다. CritICL은 실패를 바람직하지 않은 출력으로 취급하는 대신, 이를 지침의 원천으로 활용합니다. 구체적으로, 우리는 약한 모델에서 도출된 실패 모드를 활용하고, 이를 비평 기반 맥락 내 예제를 통해 추론에 통합합니다. 우리는 입력별 실패 모드를 적응적으로 예측하고 비평을 검색하는 CritICL-dynamic과 전역 실패 모드 프로파일을 사용하여 안정적인 지침을 제공하는 CritICL-static의 두 가지 변형을 제안합니다. 실험 결과, CritICL은 표준 맥락 내 학습을 일관되게 능가하며, 테스트 시간 스케일링 방법과 필적하거나 더 우수한 성능을 달성하면서도 현저히 적은 생성 횟수와 낮은 토큰 비용을 요구합니다. 코드는 https://github.com/umwyf/CRITICL에서 확인할 수 있습니다.

English

Recent advances in inference-time scaling have significantly improved the reasoning performance of large language models (LLMs). However, these methods typically rely on repeated generation or external verification. To address this limitation, we introduce CritICL, a novel inference-time framework that improves reasoning while maintaining high efficiency. Our key insight is that LLM failure modes exhibit structured patterns across model scales within the same family. Instead of treating failures as undesirable outputs, CritICL leverages them as a source of guidance. Specifically, we utilize failure modes derived from weaker models and incorporate them into inference through critique-based in-context examples. We propose two variants: CritICL-dynamic, which adaptively predicts input-specific failure modes and retrieves critiques, and CritICL-static, which uses a global failure mode profile to provide stable guidance. Experimental results show that CritICL consistently outperforms standard in-context learning and achieves performance competitive with or superior to test-time scaling methods, while requiring significantly fewer generations and lower token cost. Code available at: https://github.com/umwyf/CRITICL