Supervised Fine-Tuning versus Reinforcement Learning: Een onderzoek naar post-trainingmethoden voor grote taalmodel

Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

March 14, 2026

Auteurs: Haitao Jiang, Wenbo Zhang, Jiarui Yao, Hengrui Cai, Sheng Wang, Rui Song

cs.AI

Samenvatting

Voorgetrainde grote taalmodellen (LLM's) vertonen brede capaciteiten, maar voor specifieke taken of domeinen is het bereiken van hogere nauwkeurigheid en betrouwbaarder redeneren over het algemeen afhankelijk van nabewerking via Supervised Fine-Tuning (SFT) of Reinforcement Learning (RL). Hoewel ze vaak als afzonderlijke methodologieën worden beschouwd, tonen recente theoretische en empirische ontwikkelingen aan dat SFT en RL nauw met elkaar verbonden zijn. Deze studie presenteert een uitgebreid en verenigd perspectief op LLM-nabewerking met SFT en RL. We geven eerst een diepgaand overzicht van beide technieken, waarbij we hun doelstellingen, algoritmische structuren en gegevensvereisten onderzoeken. Vervolgens analyseren we systematisch hun wisselwerking, waarbij we kaders belichten die SFT en RL integreren, hybride trainingspijplijnen en methoden die hun complementaire sterke punten benutten. Op basis van een representatieve reeks recente toepassingsstudies van 2023 tot 2025 identificeren we opkomende trends, karakteriseren we de snelle verschuiving naar hybride nabewerkingparadigma's en destilleren we belangrijke inzichten die verduidelijken wanneer en waarom elke methode het meest effectief is. Door theoretische inzichten, praktische methodologieën en empirisch bewijs te synthetiseren, vestigt deze studie een coherent begrip van SFT en RL binnen een verenigd kader en schetst het veelbelovende richtingen voor toekomstig onderzoek naar schaalbare, efficiënte en generaliseerbare LLM-nabewerking.

English

Pre-trained Large Language Model (LLM) exhibits broad capabilities, yet, for specific tasks or domains their attainment of higher accuracy and more reliable reasoning generally depends on post-training through Supervised Fine-Tuning (SFT) or Reinforcement Learning (RL). Although often treated as distinct methodologies, recent theoretical and empirical developments demonstrate that SFT and RL are closely connected. This study presents a comprehensive and unified perspective on LLM post-training with SFT and RL. We first provide an in-depth overview of both techniques, examining their objectives, algorithmic structures, and data requirements. We then systematically analyze their interplay, highlighting frameworks that integrate SFT and RL, hybrid training pipelines, and methods that leverage their complementary strengths. Drawing on a representative set of recent application studies from 2023 to 2025, we identify emerging trends, characterize the rapid shift toward hybrid post-training paradigms, and distill key takeaways that clarify when and why each method is most effective. By synthesizing theoretical insights, practical methodologies, and empirical evidence, this study establishes a coherent understanding of SFT and RL within a unified framework and outlines promising directions for future research in scalable, efficient, and generalizable LLM post-training.