SFT Memoriza, RL Generaliza: Un Estudio Comparativo del Modelo Base Post-entrenamiento

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

January 28, 2025

Autores: Tianzhe Chu, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, Yi Ma

cs.AI

Resumen

El ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL) son técnicas ampliamente utilizadas posteriores al entrenamiento para modelos base. Sin embargo, sus roles en mejorar las capacidades de generalización del modelo siguen siendo poco claros. Este documento estudia la diferencia entre SFT y RL en cuanto a generalización y memorización, centrándose en variantes de reglas basadas en texto y variantes visuales. Presentamos GeneralPoints, un juego de cartas de razonamiento aritmético, y adoptamos V-IRL, un entorno de navegación del mundo real, para evaluar cómo los modelos entrenados con SFT y RL generalizan a variantes no vistas en los dominios tanto textual como visual. Mostramos que RL, especialmente cuando se entrena con una recompensa basada en resultados, generaliza a través de variantes basadas en reglas tanto textuales como visuales. Por el contrario, SFT tiende a memorizar los datos de entrenamiento y tiene dificultades para generalizar escenarios fuera de la distribución. Un análisis adicional revela que RL mejora las capacidades subyacentes de reconocimiento visual del modelo, contribuyendo a su mejor generalización en el dominio visual. A pesar de la superior generalización de RL, demostramos que SFT sigue siendo esencial para el entrenamiento efectivo de RL; SFT estabiliza el formato de salida del modelo, permitiendo que el RL posterior logre sus mejoras de rendimiento. Estos hallazgos demuestran la capacidad de RL para adquirir conocimientos generalizables en tareas complejas y multimodales.

English

Supervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference between SFT and RL on generalization and memorization, focusing on text-based rule variants and visual variants. We introduce GeneralPoints, an arithmetic reasoning card game, and adopt V-IRL, a real-world navigation environment, to assess how models trained with SFT and RL generalize to unseen variants in both textual and visual domains. We show that RL, especially when trained with an outcome-based reward, generalizes across both rule-based textual and visual variants. SFT, in contrast, tends to memorize training data and struggles to generalize out-of-distribution scenarios. Further analysis reveals that RL improves the model's underlying visual recognition capabilities, contributing to its enhanced generalization in the visual domain. Despite RL's superior generalization, we show that SFT remains essential for effective RL training; SFT stabilizes the model's output format, enabling subsequent RL to achieve its performance gains. These findings demonstrates the capability of RL for acquiring generalizable knowledge in complex, multi-modal tasks.