SeePhys Pro: Диагностика переноса модальностей и эффектов слепого обучения в мультимодальном RLVR для рассуждений по физике

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

May 10, 2026

Авторы: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

cs.AI

Аннотация

Мы представляем SeePhys Pro — тонко-гранулированный бенчмарк переноса модальностей, который изучает, сохраняют ли модели одинаковую способность к рассуждению при постепенном переносе критически важной информации из текста в изображение. В отличие от стандартных бенчмарков, основанных на зрении и оценивающих одну форму ввода, SeePhys Pro включает четыре семантически выровненных варианта для каждой задачи с постепенно возрастающим числом визуальных элементов. Наша оценка показывает, что современные передовые модели далеки от инвариантных к представлению рассуждателей: при переносе информации из языка в диаграммы производительность в среднем снижается, а наиболее критическим узким местом оказывается привязка визуальных переменных. Мотивированные этой уязвимостью на этапе вывода, мы дополнительно разработали большие обучающие корпуса для мультимодального RLVR и использовали слепое обучение в качестве диагностического контроля, обнаружив, что RL с маскировкой всех обучающих изображений все еще может улучшить производительность на немасоченных валидационных наборах. Для анализа этого эффекта контроли удаления текста, уровня маскировки изображений и насыщения формата показывают, что такие улучшения могут возникать за счет остаточных текстовых и распределительных сигналов, а не за счет достоверных визуальных свидетельств. Наши результаты подчеркивают необходимость оценивать мультимодальные рассуждения не только по точности окончательного ответа, но и по устойчивости при переносе модальностей, а также с помощью диагностик, проверяющих, опираются ли улучшения на критически важные визуальные свидетельства.

English

We introduce SeePhys Pro, a fine-grained modality transfer benchmark that studies whether models preserve the same reasoning capability when critical information is progressively transferred from text to image. Unlike standard vision-essential benchmarks that evaluate a single input form, SeePhys Pro features four semantically aligned variants for each problem with progressively increasing visual elements. Our evaluation shows that current frontier models are far from representation-invariant reasoners: performance degrades on average as information moves from language to diagrams, with visual variable grounding as the most critical bottleneck. Motivated by this inference-time fragility, we further develop large training corpora for multimodal RLVR and use blind training as a diagnostic control, finding that RL with all training images masked can still improve performance on unmasked validation sets. To analyze this effect, text-deletion, image-mask-rate, and format-saturation controls suggest that such gains can arise from residual textual and distributional cues rather than valid visual evidence. Our results highlight the need to evaluate multimodal reasoning not only by final-answer accuracy, but also by robustness under modality transfer and by diagnostics that test whether improvements rely on task-critical visual evidence.