Skywork R1V2: Aprendizaje por Refuerzo Híbrido Multimodal para el Razonamiento

Skywork R1V2: Multimodal Hybrid Reinforcement Learning for Reasoning

April 23, 2025

Autores: Chris, Yichen Wei, Yi Peng, Xiaokun Wang, Weijie Qiu, Wei Shen, Tianyidan Xie, Jiangbo Pei, Jianhao Zhang, Yunzhuo Hao, Xuchen Song, Yang Liu, Yahui Zhou

cs.AI

Resumen

Presentamos Skywork R1V2, un modelo de razonamiento multimodal de próxima generación y un avance significativo respecto a su predecesor, Skywork R1V. En su núcleo, R1V2 introduce un paradigma híbrido de aprendizaje por refuerzo que armoniza la guía de modelos de recompensa con estrategias basadas en reglas, abordando así el desafío persistente de equilibrar capacidades de razonamiento sofisticadas con una amplia generalización. Para mejorar aún más la eficiencia del entrenamiento, proponemos el mecanismo de Búfer de Muestras Selectivas (SSB, por sus siglas en inglés), que contrarresta eficazmente el dilema de las "Ventajas Desvanecidas" inherente a la Optimización de Políticas Relativas de Grupo (GRPO) al priorizar muestras de alto valor durante el proceso de optimización. Es notable que observamos que señales excesivas de refuerzo pueden inducir alucinaciones visuales—un fenómeno que monitoreamos sistemáticamente y mitigamos mediante umbrales de recompensa calibrados a lo largo del proceso de entrenamiento. Los resultados empíricos confirman la capacidad excepcional de R1V2, con desempeños líderes en benchmarks como 62.6 en OlympiadBench, 79.0 en AIME2024, 63.6 en LiveCodeBench y 74.0 en MMMU. Estos resultados subrayan la superioridad de R1V2 sobre los modelos de código abierto existentes y demuestran un progreso significativo en la reducción de la brecha de rendimiento con los sistemas propietarios líderes, incluyendo Gemini 2.5 y OpenAI o4-mini. Los pesos del modelo Skywork R1V2 han sido liberados públicamente para promover la apertura y la reproducibilidad https://huggingface.co/Skywork/Skywork-R1V2-38B.

English

We present Skywork R1V2, a next-generation multimodal reasoning model and a major leap forward from its predecessor, Skywork R1V. At its core, R1V2 introduces a hybrid reinforcement learning paradigm that harmonizes reward-model guidance with rule-based strategies, thereby addressing the long-standing challenge of balancing sophisticated reasoning capabilities with broad generalization. To further enhance training efficiency, we propose the Selective Sample Buffer (SSB) mechanism, which effectively counters the ``Vanishing Advantages'' dilemma inherent in Group Relative Policy Optimization (GRPO) by prioritizing high-value samples throughout the optimization process. Notably, we observe that excessive reinforcement signals can induce visual hallucinations--a phenomenon we systematically monitor and mitigate through calibrated reward thresholds throughout the training process. Empirical results affirm the exceptional capability of R1V2, with benchmark-leading performances such as 62.6 on OlympiadBench, 79.0 on AIME2024, 63.6 on LiveCodeBench, and 74.0 on MMMU. These results underscore R1V2's superiority over existing open-source models and demonstrate significant progress in closing the performance gap with premier proprietary systems, including Gemini 2.5 and OpenAI o4-mini. The Skywork R1V2 model weights have been publicly released to promote openness and reproducibility https://huggingface.co/Skywork/Skywork-R1V2-38B.