FlowBalance: 검증기 기반 온-정책 추론 경험을 통한 자기 개선

초록

추론 모델은 자체 온-폴리시(on-policy) 경험을 통해 개선될 수 있지만, 이러한 내부 루프는 취약하다. 종단 검증기(terminal verifier)는 신뢰할 수 있으나 희소한 감독을 제공하는 반면, 조밀한 동일 모델 안내(same-model guidance)는 잘못된 확신을 강화하거나 학습을 좁은 해법 모드에 과도하게 집중시킬 수 있다. 본 논문에서는 완전한 응답에 대한 정규화된 분포를 학습하는 검증기 기반 자기 개선 방법인 FlowBalance를 소개한다. 각 온-폴리시 궤적에 대해, 동일 정책의 동결된 훈련 시점 뷰는 특권 맥락(privileged context)을 사용하여 토큰 수준 로그 확률 이득을 생성하며, 이를 집계하여 궤적 수준의 자기 유도 점수(self-guidance score)를 산출한다. FlowBalance는 이 점수를 검증기에서 파생된 그룹 이점(group advantage)으로 보정한다. 즉, 유도는 양의 이점 궤적에서는 유지되고, 음의 이점 궤적에서는 반전되며, 롤아웃 그룹이 결과 선호도를 제공하지 않을 때에는 비활성화된다. 결과적으로 생성된 에너지는 참조 정책을 지수적으로 재가중하며, 프로파일링된 궤적 균형(profiled trajectory balance)은 롤아웃 그룹당 하나의 로그-분할 함수 추정으로 정규화된 목표를 적합시킨다. 이는 별도의 토큰 수준 모방 손실 없이 궤적 균형을 통한 결과 보정형 자기 유도를 실현한다. 본 분석은 그룹 내 대조 보존, 최소 변화 역방향 KL 특성화, 목표 보상에 대한 단조적 검증기 제어, 그리고 거부된 응답에 대한 거짓 양성 자기 유도의 정확한 교정을 확립한다. 수학적 추론 과제에서 FlowBalance는 Qwen3-4B와 Qwen3-8B 모두에서 FlowRL 대비 평균 성능을 개선할 뿐만 아니라 훈련 속도와 안정성도 향상시키며, OPSD의 응답 길이 붕괴를 회피하고, 통제된 AIME24 진단 설정에서 더 높은 정답 전략 다양성을 나타낸다.

English

A reasoning model can improve from its own on-policy experience, but this inner loop is fragile: terminal verifiers provide reliable yet sparse supervision, while dense same-model guidance can reinforce false confidence or overconcentrate learning on a narrow solution mode. We introduce FlowBalance, a verifier-grounded self-improvement method that learns a normalized distribution over complete responses. For each on-policy trajectory, a frozen training-time view of the same policy uses privileged context to produce token-level log-probability gains, which are aggregated into a trajectory-level self-guidance score. FlowBalance calibrates this score with the verifier-derived group advantage: guidance is retained on positive-advantage trajectories, reversed on negative-advantage trajectories, and disabled when the rollout group provides no outcome preference. The resulting energy exponentially reweights a reference policy, and profiled trajectory balance fits the normalized target with one log-partition estimate per rollout group. This realizes outcome-calibrated self-guidance via trajectory balance, without a separate token-level imitation loss. Our analysis establishes within-group contrast preservation, a minimum-change reverse-KL characterization, monotonic verifier control of target reward, and an exact correction against false-positive self-guidance on rejected responses. On mathematical reasoning, FlowBalance improves average performance over FlowRL on both Qwen3-4B and Qwen3-8B, while also improving training speed and stability, avoiding direct OPSD's response-length collapse, and exhibiting higher correct-strategy diversity in a controlled AIME24 diagnostic.