sDPO: Non Utilizzare Tutti i Tuoi Dati in Una Volta Sola

Abstract

Con il progredire dello sviluppo dei grandi modelli linguistici (LLM), allinearli alle preferenze umane è diventato sempre più importante. Proponiamo lo sDPO (stepwise DPO), un'estensione dell'ottimizzazione diretta delle preferenze (DPO), recentemente popolarizzata per la messa a punto dell'allineamento. Questo approccio prevede di suddividere i dataset di preferenze disponibili e di utilizzarli in modo graduale, anziché impiegarli tutti in una sola volta. Dimostriamo che questo metodo facilita l'uso di modelli di riferimento più precisamente allineati all'interno del framework di addestramento DPO. Inoltre, lo sDPO addestra il modello finale a essere più performante, superando persino altri LLM popolari con un numero maggiore di parametri.

English

As development of large language models (LLM) progresses, aligning them with human preferences has become increasingly important. We propose stepwise DPO (sDPO), an extension of the recently popularized direct preference optimization (DPO) for alignment tuning. This approach involves dividing the available preference datasets and utilizing them in a stepwise manner, rather than employing it all at once. We demonstrate that this method facilitates the use of more precisely aligned reference models within the DPO training framework. Furthermore, sDPO trains the final model to be more performant, even outperforming other popular LLMs with more parameters.

sDPO: Non Utilizzare Tutti i Tuoi Dati in Una Volta Sola

sDPO: Don't Use Your Data All at Once

Abstract

Support