결과 변화 지점 학습: 멀티모달 기하학을 위한 크레딧 지정 추론

초록

멀티모달 기하 추론은 VLM이 정밀한 시각적 관계를 추출하고 다단계 추론을 통해 이를 유지하도록 요구한다. 기존의 자유 형식 추론 궤적은 답을 결정하는 선택들을 모호하게 만들며, 궤적 수준 강화 학습은 단일 종단 신호를 응답 전체에 분배한다. 본 논문에서는 추론 중에 노출되는 의미 단위들이 학습이 대안을 비교하고 신용을 할당하는 위치를 정의하는 신용 할당 가능 추론(credit-addressable reasoning)을 제안한다. 이 원칙을 Code-CoT와 CE-GRPO로 구현한다. Code-CoT는 다이어그램을 유지하고, 시각적 관계를 행 단위 주소 지정이 가능한 실행 코드로 표현하며, 추론을 유형화된 이벤트로 조직한다. CE-GRPO는 구조적 사전 정보와 유형 정규화 엔트로피를 사용하여 이벤트 경계를 선택하고, 공유된 접두사에서 완전한 연속을 샘플링하며, 결과 차이를 국소적 이점으로 변환한다. 아홉 가지 기하 벤치마크에서 CE-GRPO는 평균 정확도 76.04를 달성하여 Qwen3-VL-8B와 궤적 수준 GRPO를 각각 8.09포인트와 3.43포인트 능가한다. 그 상대적 이점은 중간 이벤트의 수가 증가함에 따라 커지며, 이는 길고 의존성이 높은 멀티모달 추론에서 표현-최적화 공동 설계의 가치를 보여준다.

English

Multimodal geometry reasoning requires VLMs to extract precise visual relations and preserve them through multi-step deduction. Existing free-form traces obscure the decisions that determine the answer, and trajectory-level reinforcement learning distributes a single terminal signal across the entire response. We introduce credit-addressable reasoning, in which the semantic units exposed during inference also define where learning compares alternatives and assigns credit. We instantiate this principle with Code-CoT, which retains the diagram, represents visual relations as line-addressable executable code, and organizes reasoning into typed events, and CE-GRPO, which selects event boundaries using structural priors and type-normalized entropy, samples complete continuations from shared prefixes, and converts outcome differences into localized advantages. Across nine geometry benchmarks, CE-GRPO achieves an average accuracy of 76.04, outperforming Qwen3-VL-8B and trajectory-level GRPO by 8.09 and 3.43 points, respectively. Its relative advantage increases with the number of intermediate events, demonstrating the value of representation--optimization co-design for long, dependency-heavy multimodal reasoning.