SeePhys Pro: Diagnose von Modalitätstransfer- und Blind-Training-Effekten im multimodalen RLVR für physikalisches Denken
SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning
May 10, 2026
Autoren: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang
cs.AI
Zusammenfassung
Wir stellen SeePhys Pro vor, einen feinkörnigen Modalitätstransfer-Benchmark, der untersucht, ob Modelle die gleiche Argumentationsfähigkeit bewahren, wenn kritische Informationen schrittweise von Text zu Bild übertragen werden. Im Gegensatz zu standardmäßigen visionsessentiellen Benchmarks, die eine einzelne Eingabeform bewerten, bietet SeePhys Pro für jedes Problem vier semantisch abgestimmte Varianten mit schrittweise zunehmenden visuellen Elementen. Unsere Auswertung zeigt, dass aktuelle Spitzenmodelle weit davon entfernt sind, repräsentationsinvariante Schlussfolgerer zu sein: Die Leistung nimmt im Durchschnitt ab, wenn Informationen von Sprache zu Diagrammen übergehen, wobei die visuelle Variablenverankerung den kritischsten Engpass darstellt. Motiviert durch diese Anfälligkeit zur Inferenzzeit entwickeln wir weiterhin große Trainingskorpora für multimodales RLVR und verwenden Blindtraining als diagnostische Kontrolle. Dabei stellen wir fest, dass Reinforcement Learning mit allen maskierten Trainingsbildern die Leistung auf nicht maskierten Validierungsdatensätzen dennoch verbessern kann. Um diesen Effekt zu analysieren, deuten Textlösch-, Bildmaskierungsraten- und Formatsättigungskontrollen darauf hin, dass solche Verbesserungen eher auf verbleibende textuelle und distributionelle Hinweise zurückzuführen sein können als auf gültige visuelle Beweise. Unsere Ergebnisse unterstreichen die Notwendigkeit, multimodales Denken nicht nur anhand der Genauigkeit der endgültigen Antwort zu bewerten, sondern auch anhand der Robustheit unter Modalitätstransfer und anhand diagnostischer Tests, die prüfen, ob Verbesserungen auf aufgabenkritischen visuellen Beweisen beruhen.
English
We introduce SeePhys Pro, a fine-grained modality transfer benchmark that studies whether models preserve the same reasoning capability when critical information is progressively transferred from text to image. Unlike standard vision-essential benchmarks that evaluate a single input form, SeePhys Pro features four semantically aligned variants for each problem with progressively increasing visual elements. Our evaluation shows that current frontier models are far from representation-invariant reasoners: performance degrades on average as information moves from language to diagrams, with visual variable grounding as the most critical bottleneck. Motivated by this inference-time fragility, we further develop large training corpora for multimodal RLVR and use blind training as a diagnostic control, finding that RL with all training images masked can still improve performance on unmasked validation sets. To analyze this effect, text-deletion, image-mask-rate, and format-saturation controls suggest that such gains can arise from residual textual and distributional cues rather than valid visual evidence. Our results highlight the need to evaluate multimodal reasoning not only by final-answer accuracy, but also by robustness under modality transfer and by diagnostics that test whether improvements rely on task-critical visual evidence.