SFT Memorizza, RL Generalizza: Uno Studio Comparativo del Modello Fondamentale Post-Allenamento

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

January 28, 2025

Autori: Tianzhe Chu, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, Yi Ma

cs.AI

Abstract

Il fine-tuning supervisionato (SFT) e il reinforcement learning (RL) sono tecniche ampiamente utilizzate come post-allenamento per i modelli di base. Tuttavia, il loro ruolo nel migliorare le capacità di generalizzazione del modello rimane poco chiaro. Questo articolo studia le differenze tra SFT e RL sulla generalizzazione e sulla memorizzazione, concentrandosi su varianti di regole basate su testo e varianti visive. Introduciamo GeneralPoints, un gioco di carte per il ragionamento aritmetico, e adottiamo V-IRL, un ambiente di navigazione del mondo reale, per valutare come i modelli addestrati con SFT e RL generalizzino a varianti non viste sia nei domini testuali che visivi. Mostreremo che RL, specialmente quando addestrato con un reward basato sull'outcome, generalizza su entrambe le varianti basate su regole testuali e visive. Al contrario, SFT tende a memorizzare i dati di addestramento e fatica a generalizzare scenari fuori distribuzione. Un'analisi ulteriore rivela che RL migliora le capacità di riconoscimento visivo sottostanti del modello, contribuendo alla sua migliorata generalizzazione nel dominio visivo. Nonostante la maggiore generalizzazione di RL, dimostriamo che SFT rimane essenziale per un addestramento RL efficace; SFT stabilizza il formato di output del modello, consentendo al successivo RL di ottenere i suoi miglioramenti prestazionali. Queste scoperte dimostrano la capacità di RL di acquisire conoscenze generalizzabili in compiti complessi e multimodali.

English

Supervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference between SFT and RL on generalization and memorization, focusing on text-based rule variants and visual variants. We introduce GeneralPoints, an arithmetic reasoning card game, and adopt V-IRL, a real-world navigation environment, to assess how models trained with SFT and RL generalize to unseen variants in both textual and visual domains. We show that RL, especially when trained with an outcome-based reward, generalizes across both rule-based textual and visual variants. SFT, in contrast, tends to memorize training data and struggles to generalize out-of-distribution scenarios. Further analysis reveals that RL improves the model's underlying visual recognition capabilities, contributing to its enhanced generalization in the visual domain. Despite RL's superior generalization, we show that SFT remains essential for effective RL training; SFT stabilizes the model's output format, enabling subsequent RL to achieve its performance gains. These findings demonstrates the capability of RL for acquiring generalizable knowledge in complex, multi-modal tasks.