Aprendizaje del razonamiento bajo guía fuera de la políticaLearning to Reason under Off-Policy Guidance
Los avances recientes en los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés) demuestran que comportamientos sofisticados, como el razonamiento de múltiples pasos y la autorreflexión, pueden surgir mediante el aprendizaje por refuerzo (RL, por sus siglas en inglés) con recompensas basadas en reglas simples. Sin embargo, los enfoques existentes de RL cero son inherentemente "on-policy", lo que limita el aprendizaje a las propias salidas del modelo y no permite adquirir habilidades de razonamiento más allá de sus capacidades iniciales. Presentamos LUFFY (Learning to reason Under oFF-policY guidance), un marco que amplía el RL cero con trazas de razonamiento off-policy. LUFFY equilibra dinámicamente la imitación y la exploración al combinar demostraciones off-policy con rollouts on-policy durante el entrenamiento. Destacamos la propuesta de modelado de políticas mediante muestreo de importancia regularizado para evitar la imitación superficial y rígida durante el entrenamiento de políticas mixtas. Notablemente, LUFFY logra una mejora promedio de más de +7.0 en seis benchmarks matemáticos y una ventaja de más de +6.2 puntos en tareas fuera de distribución. Además, supera sustancialmente el ajuste fino supervisado (SFT, por sus siglas en inglés) basado en imitación, particularmente en generalización. El análisis muestra que LUFFY no solo imita de manera efectiva, sino que también explora más allá de las demostraciones, ofreciendo un camino escalable para entrenar modelos de razonamiento generalizables con guía off-policy.