TTPO: 테스트-시간 정책 최적화

초록

최근 주목받는 사후 학습(post-training) 기법인 강화 학습(Reinforcement Learning, RL)과 온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델의 수학적 추론에서 빠른 진전을 이끌어 왔지만, 정답 레이블(ground-truth labels)에 의존하기 때문에 테스트 시점 학습(Test-Time Training, TTT)은 불가능하다. 정답을 다수결 기반 의사 레이블(majority-vote pseudo-labels)로 대체하는 것은 자연스러운 대안이나, 이는 취약하다. 잘못된 투표는 교사(teacher)를 오염시키고 모든 토큰을 오도하기 때문이다. 우리는 이러한 실패 모드가 비대칭적임을 관찰한다. 즉, 의사 레이블과 불일치하는 롤아웃(rollout)은 투표 자체의 정확성과 무관하게 일반적으로 틀리다. 이 관찰에 기반하여, 우리는 동의하는 롤아웃은 OPSD로 증류하고 불일치하는 롤아웃은 그룹 RL(Grouped RL)로 페널티를 부과하는 비대칭 목적 함수인 테스트 시점 정책 최적화(Test-Time Policy Optimization, TTPO)를 제안한다. 토큰 수준 선택은 두 분기를 더욱 정교하게 다듬는다. 증류는 이미 수렴한 위치의 가중치를 낮추는 반면, RL은 확신 있는 오류만 페널티를 준다. 두 업데이트 모두 잦은 의사 레이블 오류가 있더라도 근거를 잘 유지하며, 다수결 라우팅은 모델이 개선됨에 따라 더 긴밀한 자기 지도(self-supervision)를 제공한다. 레이블 없이도 TTPO는 다섯 가지 대회 수준 벤치마크에서 레이블 지도 OPSD와 동등한 성능을 보이며, TTT에서 Qwen3-1.7B를 38.0%에서 45.2%로 향상시키고, thinking 없이 +25.2%에서 +36.4%의 성능 향상을 달성하며, 강력한 교차 작업 일반화를 입증한다.

English

Recent prominent post-training methods, such as Reinforcement Learning (RL) and On-Policy Self-Distillation (OPSD), have driven rapid progress in mathematical reasoning for large language models, yet their reliance on ground-truth labels precludes test-time training (TTT). Replacing ground truth with majority-vote pseudo-labels is a natural alternative, yet it is fragile: an incorrect vote corrupts the teacher and misleads every token. We observe that this failure mode is asymmetric: rollouts that disagree with the pseudo-label are typically wrong regardless of whether the vote itself is correct. Building on this observation, we propose Test-Time Policy Optimization (TTPO), an asymmetric objective that distills agreeing rollouts via OPSD and penalizes disagreeing rollouts with Grouped RL. Token-level selection further refines both branches: distillation down-weights already-converged positions, while RL penalizes only confident errors. Both updates remain well-grounded even under frequent pseudo-label errors, and majority-vote routing yields tighter self-supervision as the model improves. Without any labels, TTPO matches label-supervised OPSD on five competition-level benchmarks, raises Qwen3-1.7B from 38.0% to 45.2% in TTT, yields +25.2% to +36.4% without thinking, and shows strong cross-task generalization.

TTPO: 테스트-시간 정책 최적화

TTPO: Test-Time Policy Optimization

초록

Support