Reforçando o Raciocínio Multimodal Contra a Degradação Visual

Resumo

Aprendizado por Reforço avançou significativamente as capacidades de raciocínio de Modelos de Linguagem Grandes Multimodais (MLLMs), mas as políticas resultantes permanecem frágeis diante de degradações visuais do mundo real, como desfoque, artefatos de compressão e digitalizações de baixa resolução. Técnicas anteriores de robustez provenientes da visão e do aprendizado por reforço profundo dependem de aumento de dados estático ou regularização baseada em valor, nenhuma das quais se transfere de forma limpa para o ajuste fino de RL livre de crítico de MLLMs autorregressivos. Reforçar o raciocínio contra tais corrupções não é trivial: injetar ingenuamente visões degradadas durante a rolagem induz envenenamento de recompensa, onde oclusões perceptuais desencadeiam trajetórias alucinadas e desestabilizam a otimização. Propomos ROMA, uma estrutura de ajuste fino de RL que modifica a dinâmica de otimização para reforçar o raciocínio contra degradação visual, preservando o desempenho em entradas limpas. Uma estratégia de passagem dupla para frente utiliza forçamento do professor para avaliar visões corrompidas em relação a trajetórias de imagens limpas, evitando novas rolagens em entradas degradadas. Para consistência distribucional, aplicamos uma penalidade KL substituta em nível de token contra o pior caso de aumento; para evitar colapso da política sob regularização, uma perda auxiliar de gradiente de política ancorada em vantagens de imagem limpa preserva um sinal de recompensa confiável; e para evitar invariança sistematicamente incorreta, a regularização condicionada à correção restringe a aplicação a trajetórias bem-sucedidas. Nos modelos Qwen3-VL 4B/8B em sete benchmarks de raciocínio multimodal, nosso método melhora a robustez em +2,4% em corrupções vistas e +2,3% em corrupções não vistas em relação ao GRPO, mantendo a precisão limpa.

English

Reinforcement Learning has significantly advanced the reasoning capabilities of Multimodal Large Language Models (MLLMs), yet the resulting policies remain brittle against real-world visual degradations such as blur, compression artifacts, and low-resolution scans. Prior robustness techniques from vision and deep RL rely on static data augmentation or value-based regularization, neither of which transfers cleanly to critic-free RL fine-tuning of autoregressive MLLMs. Reinforcing reasoning against such corruptions is non-trivial: naively injecting degraded views during rollout induces reward poisoning, where perceptual occlusions trigger hallucinated trajectories and destabilize optimization. We propose ROMA, an RL fine-tuning framework that modifies the optimization dynamics to reinforce reasoning against visual degradation while preserving clean-input performance. A dual-forward-pass strategy uses teacher forcing to evaluate corrupted views against clean-image trajectories, avoiding new rollouts on degraded inputs. For distributional consistency, we apply a token-level surrogate KL penalty against the worst-case augmentation; to prevent policy collapse under regularization, an auxiliary policy gradient loss anchored to clean-image advantages preserves a reliable reward signal; and to avoid systematically incorrect invariance, correctness-conditioned regularization restricts enforcement to successful trajectories. On Qwen3-VL 4B/8B across seven multimodal reasoning benchmarks, our method improves robustness by +2.4% on seen and +2.3% on unseen corruptions over GRPO while matching clean accuracy.