Da Principiante a Professionista: Padronanza Efficiente delle Competenze tramite Fine-Tuning RL con Contrazione della Distribuzione
From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning
March 10, 2026
Autori: Zhanyi Sun, Shuran Song
cs.AI
Abstract
Introduciamo Distribution Contractive Reinforcement Learning (DICE-RL), un framework che utilizza il reinforcement learning (RL) come operatore di "contrazione di distribuzione" per affinare politiche generative preaddestrate per robot. DICE-RL trasforma un prior comportamentale preaddestrato in una politica "pro" ad alte prestazioni amplificando i comportamenti ad alto successo tramite feedback online. Pre-addestriamo una politica basata su diffusione o flusso per un'ampia copertura comportamentale, per poi affinarla con un framework RL residuo off-policy, stabile ed efficiente nel campionamento, che combina una regolarizzazione comportamentale selettiva con una selezione delle azioni guidata dal valore. Esperimenti e analisi approfonditi dimostrano che DICE-RL migliora affidabilmente le prestazioni con forte stabilità ed efficienza di campionamento. Consente la padronanza di complesse abilità di manipolazione a lungo orizzonte direttamente da input pixel ad alta dimensionalità, sia in simulazione che su un robot reale. Sito web del progetto: https://zhanyisun.github.io/dice.rl.2026/.
English
We introduce Distribution Contractive Reinforcement Learning (DICE-RL), a framework that uses reinforcement learning (RL) as a "distribution contraction" operator to refine pretrained generative robot policies. DICE-RL turns a pretrained behavior prior into a high-performing "pro" policy by amplifying high-success behaviors from online feedback. We pretrain a diffusion- or flow-based policy for broad behavioral coverage, then finetune it with a stable, sample-efficient residual off-policy RL framework that combines selective behavior regularization with value-guided action selection. Extensive experiments and analyses show that DICE-RL reliably improves performance with strong stability and sample efficiency. It enables mastery of complex long-horizon manipulation skills directly from high-dimensional pixel inputs, both in simulation and on a real robot. Project website: https://zhanyisun.github.io/dice.rl.2026/.