SFT запоминает, RL обобщает: Сравнительное исследование фундаментальной модели после обучения.

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

January 28, 2025

Авторы: Tianzhe Chu, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, Yi Ma

cs.AI

Аннотация

Надзорное дообучение (SFT) и обучение с подкреплением (RL) широко используются как техники послеобучения для базовых моделей. Однако их роли в улучшении обобщающих способностей модели остаются неясными. В данной работе изучается разница между SFT и RL в области обобщения и запоминания, с акцентом на текстовые и визуальные варианты правил. Мы представляем GeneralPoints, карточную игру с арифметическим рассуждением, и используем V-IRL, среду реального мира для навигации, чтобы оценить, как модели, обученные с помощью SFT и RL, обобщаются на невидимые варианты как в текстовой, так и визуальной областях. Мы показываем, что RL, особенно когда обучен с использованием награды на основе результата, обобщается как на основе правил текстовых, так и визуальных вариантов. SFT, напротив, склонно запоминать обучающие данные и испытывает трудности с обобщением в сценариях вне распределения. Дальнейший анализ показывает, что RL улучшает базовые возможности визуального распознавания модели, способствуя ее улучшенному обобщению в визуальной области. Несмотря на превосходство RL в обобщении, мы показываем, что SFT остается необходимым для эффективного обучения RL; SFT стабилизирует формат вывода модели, позволяя последующему RL достичь улучшения производительности. Эти результаты демонстрируют способность RL к приобретению обобщаемых знаний в сложных мультимодальных задачах.

English

Supervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference between SFT and RL on generalization and memorization, focusing on text-based rule variants and visual variants. We introduce GeneralPoints, an arithmetic reasoning card game, and adopt V-IRL, a real-world navigation environment, to assess how models trained with SFT and RL generalize to unseen variants in both textual and visual domains. We show that RL, especially when trained with an outcome-based reward, generalizes across both rule-based textual and visual variants. SFT, in contrast, tends to memorize training data and struggles to generalize out-of-distribution scenarios. Further analysis reveals that RL improves the model's underlying visual recognition capabilities, contributing to its enhanced generalization in the visual domain. Despite RL's superior generalization, we show that SFT remains essential for effective RL training; SFT stabilizes the model's output format, enabling subsequent RL to achieve its performance gains. These findings demonstrates the capability of RL for acquiring generalizable knowledge in complex, multi-modal tasks.