sDPO: Verwenden Sie Ihre Daten nicht auf einmal.

sDPO: Don't Use Your Data All at Once

March 28, 2024

Autoren: Dahyun Kim, Yungi Kim, Wonho Song, Hyeonwoo Kim, Yunsu Kim, Sanghoon Kim, Chanjun Park

cs.AI

Zusammenfassung

Mit der Entwicklung großer Sprachmodelle (LLM) gewinnt die Ausrichtung auf menschliche Präferenzen zunehmend an Bedeutung. Wir schlagen stepwise DPO (sDPO) vor, eine Erweiterung der kürzlich populär gewordenen direkten Präferenzoptimierung (DPO) zur Ausrichtungsanpassung. Dieser Ansatz beinhaltet die Aufteilung der verfügbaren Präferenzdatensätze und deren schrittweise Nutzung, anstatt sie auf einmal zu verwenden. Wir zeigen, dass diese Methode die Verwendung präziser ausgerichteter Referenzmodelle im DPO-Trainingsrahmen erleichtert. Darüber hinaus trainiert sDPO das endgültige Modell so, dass es leistungsstärker wird und sogar andere populäre LLMs mit mehr Parametern übertrifft.

English

As development of large language models (LLM) progresses, aligning them with human preferences has become increasingly important. We propose stepwise DPO (sDPO), an extension of the recently popularized direct preference optimization (DPO) for alignment tuning. This approach involves dividing the available preference datasets and utilizing them in a stepwise manner, rather than employing it all at once. We demonstrate that this method facilitates the use of more precisely aligned reference models within the DPO training framework. Furthermore, sDPO trains the final model to be more performant, even outperforming other popular LLMs with more parameters.