Physics-R1: Um corpus auditado de Olimpíadas e receita para raciocínio visual em física

Resumo

Auditamos o pipeline de avaliação multimodal de física de ponta a ponta e documentamos três práticas de construção não detectadas que distorcem a forma como o campo mede o raciocínio visão-linguagem: contaminação treino-avaliação, deriva de tradução e saturação de MCQ. (1) Os conjuntos de treinamento públicos (UGPhysics-Train, SciInstruct, MMK12) passam por auditorias de Jaccard de 5-gramas em estágio único com zero acertos em todas as seis avaliações públicas de física; uma auditoria de três estágios (Jaccard -> cosseno mxbai-embed-large -> juiz LLM Haiku-4.5) revela 134 quase-duplicatas e 4.846 candidatos a paráfrase apenas no SciInstruct. (2) Um delta de 17 p.p. do Sonnet 4.5 em 59 problemas pareados de olimpíada em estoniano-inglês (30,5% vs. 13,6%; teste de sinal p=0,011, McNemar p=0,021, bootstrap pareado IC 95% [+5,1, +28,9] p.p.). (3) Um gradiente de formato e novidade de 46 p.p. nos mesmos pesos do Sonnet entre MCQ (79,7% no PhyX) e avaliação aberta de olimpíada (33,4% no PhysOlym-A). Disponibilizamos quatro artefatos para abordar essas lacunas: PhysCorp-A (corpus multimodal auditado em três estágios com 6.432 registros), PhysR1Corp (pool de RL de forma fechada com 2.268 registros), PhysOlym-A (avaliação de olimpíada retida com 500 problemas, 99,8% de fontes novas, com rótulos de dificuldade nativos e um subconjunto bilíngue EN/ET), e Physics-R1, uma receita de referência GSPO+DAPO inicializada a frio a partir do Qwen3-VL-8B-Thinking. Em 3 sementes, o Physics-R1 eleva o corpus auditado em relação à base 8B em +18,3 p.p. no PhysOlym-A liberal (8,0 -> 26,3 +/- 1,7; 7,1 p.p. atrás do Sonnet 4.5), +15,7 p.p. no PhysReason (23,9 -> 39,6 +/- 6,4; à frente do Qwen3-VL-32B e Gemini 2.5 Pro), +6,9 p.p. no OlympiadBench-Physics (46,2 +/- 1,5) e +4,1 p.p. no PhyX MCQ (77,8 +/- 0,3).

English

We audit the multimodal-physics evaluation pipeline end-to-end and document three undetected construction practices that distort how the field measures vision-language reasoning: train-eval contamination, translation drift, and MCQ saturation. (1) Public training pools (UGPhysics-Train, SciInstruct, MMK12) pass single-stage 5-gram-Jaccard audits with zero hits across all six public physics evals; a three-stage audit (Jaccard -> mxbai-embed-large cosine -> Haiku-4.5 LLM-judge) surfaces 134 near-duplicates and 4,846 paraphrase candidates in SciInstruct alone. (2) A 17-pp Sonnet 4.5 delta on 59 paired Estonian-English olympiad problems (30.5% vs. 13.6%; sign test p=0.011, McNemar p=0.021, paired bootstrap 95% CI [+5.1, +28.9] pp). (3) A 46-pp format-and-novelty gradient on identical Sonnet weights between MCQ (79.7% on PhyX) and open-ended olympiad evaluation (33.4% on PhysOlym-A). We release four artifacts addressing these gaps: PhysCorp-A (6,432-record three-stage-audited multimodal corpus), PhysR1Corp (2,268-record closed-form RL pool), PhysOlym-A (500-problem, 99.8% novel-source held-out olympiad eval with native difficulty labels and an EN/ET bilingual subset), and Physics-R1, a reference GSPO+DAPO recipe cold-started from Qwen3-VL-8B-Thinking. Across 3 seeds, Physics-R1 lifts the audited corpus over the 8B base by +18.3 pp on PhysOlym-A liberal (8.0 -> 26.3 +/- 1.7; 7.1 pp behind Sonnet 4.5), +15.7 pp on PhysReason (23.9 -> 39.6 +/- 6.4; ahead of Qwen3-VL-32B and Gemini 2.5 Pro), +6.9 pp on OlympiadBench-Physics (46.2 +/- 1.5), and +4.1 pp on PhyX MCQ (77.8 +/- 0.3).