그만둘 때를 아는 것: LLM의 무의미한 추론 중단을 위한 진단 및 훈련

초록

대규모 언어 모델은 능력을 초과하는 과업에서 계산 비용이 높으면서도 의미론적으로 공허한 추론을 생성하며, 그럴듯하게 들리지만 부정확한 유도가 사용자를 오도할 수 있는 위험을 초래한다. 본 연구는 체계적 분석을 통해 이러한 무의미한 추론 현상을 규명하고, 보편적인 능력 초과와 능력-행동 간의 체계적 보정 오류를 밝힌다. 지배적인 실패 양상은 그럴듯한 추론으로, 출력물은 표면적으로 타당해 보이나 미묘한 오류를 포함하며 과업 난이도가 높아짐에 따라 증가한다. 이를 해결하기 위해 우리는 CaRL(Capability-aligned Reinforcement Learning, 능력 정합 강화학습)을 제안한다. CaRL은 무의미한 추론보다 거절을 장려하는 보상 설계를 통한 능력 경계와 행동의 정렬, 그리고 실패를 거절 지도 신호로 변환하는 사후 거절 증강을 통해 모델의 행동을 능력 경계에 맞춘다. 실험 결과, 과업 난이도 전반에 걸쳐 성능을 유지하면서 무의미한 추론을 실질적으로 감소시켜 효용성을 희생하지 않고 능력 정합 행동을 효과적으로 달성함을 입증한다. https://github.com/icip-cas/Knowing-When-to-Quit

English

Large language models generate computationally expensive yet semantically void reasoning on beyond-capability tasks, creating risks where plausible-sounding but incorrect derivations mislead users. We characterize this futile reasoning phenomenon through systematic analysis, revealing universal capability overreach and systematic miscalibration between capability and behavior. The dominant failure mode is specious reasoning, which outputs look superficially valid but contain subtle errors, escalating with task difficulty. To address this, we introduce CaRL (Capability-aligned Reinforcement Learning), which aligns model behavior with capability boundaries through reward shaping that incentivizes refusal over futile reasoning and hindsight refusal augmentation that converts failures into refusal supervision. Experiments demonstrate a substantial reduction in futile reasoning while preserving performance across task difficulties, effectively achieving capability-aligned behavior without sacrificing utility. https://github.com/icip-cas/Knowing-When-to-Quit